【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds

摘要

• 问题：用坐标表示点云无法直接表示其几何结构
• 方法：RepSurf (representative surfaces)能够描述局部结构。
• RepSurf还可以分为 Triangular RepSurf 和 Umbrella RepSurf
• 在surface reconstruction后，通过提前定义几何先验计算RepSurf表示
• 优点：RepSurf适用于不规则点，因此与其他模型的兼容性很好
• 应用：classification, segmentation 和 detection
• 代码： https://github.com/hancyran/RepSurf

1.引言

• 局部特征对于点云学习而言很重要，之前的学习方法，包括grids、relations、graphs，都会引入诸如欧式距离、注意力机制等其他变量，或者是使用不同的变换（graph construction, voxelization）。这可能会导致复杂的处理或是大量的计算。这些复杂的分量通常都可以从隐式的局部形状表示中学到。不仅如此，在提前定义这些分量时还会导致信息的损失，在变换时导致几何损失。
• Curve ——> Surface
• 对RepSurf定义了三个性质：①discreteness；②explicit locality；③curvature sensitivity
• Triangular RepSurf & Umbrella RepSurf

2.相关工作

2.1. Learning on Point Clouds

• Multi-view methods
• Voxel-based methods
• Point-based methods

2.2. Detection on Point Clouds

• Early methods：convert point clouds to 2D grids or 3D voxels
• Recent works：raw point clouds

2.3. Graphics-related Surface Representation

triangle meshes、spatial Poisson
formulation、umbrella surface

3. Surface Representation

3.1. Background

局部特征对于表示点云很重要。之前的工作都是通过利用额外的分量或是不同的变换间接地从形状中学习局部特征。这些操作可能对隐式表示点云集有帮助，但是无法显式地反应局部特征。

通过Talyor公式表述一个 以 2D curve $f(\cdot )$的点$(t,f(t))$为中心的局部区域：
$$f(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}(t)}{n!}(x-t{)}^n,|x-t|<ϵ\text{\hspace{1em}(1)}$$

为了简化计算：

$$f(x)\simeq \underset{\text{global position }}{\underbrace{f(t)}}+\underset{\text{local orientation }}{\underbrace{f^{\prime }(t)}}(x-t),\text{\hspace{1em}(2)}$$
其中$(t,f(t))$是在curve $f(\cdot )$上的全局位置，一阶导数$f^{\prime }(t)$表示在$(t,f(t))$附近的局部方向。为了进一步表示局部curve（图2左），通过对应的正切表示局部方向：
$$\begin{array}{r}{a}_i\left(x-x_i\right)+b_i\left(y-y_i\right)=0\Rightarrow \\ a_{i}x+b_{i}y-\left(a_i{x}_i+b_i{y}_i\right)=0\end{array}\text{\hspace{1em}(3)}$$
其中 $x_i=t,y_i=f(t)$, and $\frac{a_i}{b_i}=-f^{\prime }(a)$。$\left(a_i,b_i\right)$ 是正切的法向量，其中$a_i^2+b_i^2=1$。总之，一个局部curve的描述子可以表示为：
$${\mathbf{c}}_i=\left(x_i,y_i,a_i,b_i,a_i{x}_i+b_i{y}_i\right).\text{\hspace{1em}(4)}$$

3.2. Properties of RepSurf

Triangle mesh包含了一组共用的边和角连接的三角形，因此应该能够灵活的表示连续且复杂的3D形状。但是，由于不规则性，Triangle mesh可能不会与点云的数据结构相匹配。从点云转换到triangle mesh的过程中可能会导致巨大的计算量和点云特征的损失。因此，设计的 RepSurf有着以下几个特性：

• Discreteness. 理想情况下，一个RepSurf特征应该对应着$N$个点
• Explicit Locality. RepSurf以数字的形式表示了部分点云的显式局部性。
• Curvature Sensitivity. RepSurf应该能够直观地突显边缘和局部形状

3.3. Triangular RepSurf

记点云集合为 X = { x 1 , … , x n } ⊆ R N × 3 \mathbf{X}=\left\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{n}\right\} \subseteq \mathbb{R}^{N \times 3} X={x1​,…,xn​}⊆RN×3，与 3.1节中的2D curve相似，通过点-法向量公式定义一个3D 正切 surface。给定一个法向量${\mathbf{v}}_i=\left(a_i,b_i,c_i\right)$和点${\mathbf{x}}_i=\left(x_i,y_i,z_i\right)$，surface可以表示为：
$$\begin{array}{c}{a}_i\left(x-x_i\right)+b_i\left(y-y_i\right)+c_i\left(z-z_i\right)=0\Rightarrow \\ a_{i}x+b_{i}y+c_{i}z-\left(a_i{x}_i+b_i{y}_i+c_i{z}_i\right)=0\end{array}\text{\hspace{1em}(5)}$$
定义surface position为$p_i=a_i{x}_i+b_i{y}_i+c_i{z}_i$，范围为$[-\sqrt{3}r,\sqrt{3}r]$。$r$表示将点云集包含住的立方体边长。注意，$p_i$也还表示原点到surface的定向距离。

通过叉积计算${\mathbf{v}}_{\mathbf{i}}$，但是计算的${\mathbf{v}}_{\mathbf{i}}$是无方向的——${\mathbf{v}}_{\mathbf{i}}$既可以指向surface的里面，也可以指向surface的外面。

考虑到效率，通过保持$a_i$为正，然后通过instance-level random inverse增强法线，概率为50%。那么最终的Triangular RepSurf为：
$${\mathbf{t}}_i=\left(a_i,b_i,c_i,p_i\right)$$
定义一组 Triangular RepSurf为$\mathbf{T}=$ { t 1 , … , t n } ⊆ R N × 4 \left\{\mathbf{t}_{1}, \ldots, \mathbf{t}_{n}\right\} \subseteq \mathbb{R}^{N \times 4} {t1​,…,tn​}⊆RN×4。将$\mathbf{X}$替换为triangles重新计算的质心${\mathbf{X}}^{\prime }$，然后将${\mathbf{X}}^{\prime }$ 和 $\mathbf{T}$进行拼接。

3.3. Umbrella RepSurf

Triangular RepSurf很容易受到感受野的限制，会带之不稳定的局部表示。

记相邻点的个数为$K$，neighbor triangles的质心为${\mathbf{X}}_i^{\prime }=$ { x i 1 ′ , … , x i K ′ } ⊆ R K × 3 \left\{\mathbf{x}_{i 1}^{\prime}, \ldots, \mathbf{x}_{i K}^{\prime}\right\} \subseteq \mathbb{R}^{K \times 3} {xi1′​,…,xiK′​}⊆RK×3，neighbor triangles的triangular features为 T i = { t i 1 , … , t i K } ⊆ \mathbf{T}_{i}=\left\{\mathbf{t}_{i 1}, \ldots, \mathbf{t}_{i K}\right\} \subseteq Ti​={ti1​,…,tiK​}⊆ ${\mathbb{R}}^{K\times 4}$，umbrella curvature的无符号系数为：
$$u_i=\sum _j^K{n}_{ij}=\sum _j^K\left|\frac{{\mathbf{x}}_{ij}^{\prime }}{\left|{\mathbf{x}}_{ij}^{\prime }\right|}\cdot {\mathbf{n}}_i\right|$$
其中${\mathbf{n}}_i$是第$i$个点的给定法向量。但是，在点集$\mathbf{X}$中，${\mathbf{n}}_i$是未知的。这就使得umbrella curvature在实际场景中无法应用。此外，我们认为scalar curvature无法完全表示局部几何结构。

为了解决上述问题，提出Umbrella RepSurf。Umbrella RepSurf可以处理位置敏感的同质邻居。点${\mathbf{x}}_i$的Umbrella RepSurf ${\mathbf{u}}_i$定义为：

u i = A ( { T ( [ x i j ′ , t i j ] ) , ∀ j ∈ { 1 , … , K } } ) \mathbf{u}_{i}=\mathcal{A}\left(\left\{\mathcal{T}\left(\left[\mathbf{x}_{i j}^{\prime}, \mathbf{t}_{i j}\right]\right), \forall j \in\{1, \ldots, K\}\right\}\right) ui​=A({T([xij′​,tij​]),∀j∈{1,…,K}})
其中$\mathcal{A}$是聚合函数（summation or max），$\mathcal{T}$是变换函数，${\mathbf{x}}_{ij}^{\prime }$是根据其质心 ${\mathbf{x}}_i$得到的归一化坐标。为了计算${\mathbf{t}}_{i\text{. }}$，在$xy$-plane平面上沿着x轴从$0^{\circ }$到$360^{\circ }$逆时针旋转构造相邻的triangles。因此，umbrella surface中的triangles数量为$K$。注意，为了保持法向量方向的局部一致性，通过逆时针叉积计算法向量。 为了简化全局法向量方向的定义，我们令${\mathbf{t}}_{i1}$的${\mathbf{a}}_{i1}$保持为正，其他法向量的方向也随着其变化。与Triangular RepSurf一样，通过random inverse增强umbrella surface的法向量${\mathbf{n}}_i$。

3.5. Implementation

在PointNet++的single-scale grouping(SSG)版本上实现RepSurf。对于每一个set abstraction，我们都输入RepSurf 和 point features。

极坐标 极坐标系通过相对于原点的距离和角度表示一个点的坐标。以Spherical system为例，在寻找完点${\mathbf{x}}_i$的neighbors后，通过它的spherical位置重新定义第$j$个neighbor的位置：
$${\mathbf{x}}_{ij}^{\prime }=\left(x_{ij}^{\prime },y_{ij}^{\prime },z_{ij}^{\prime },{\rho }_{ij},{\theta }_{ij},{\varphi }_{ij}\right),$$
其中$x_{ij}^{\prime },y_{ij}^{\prime },z_{ij}^{\prime }$是归一化欧式坐标的三个维度值，${\rho }_{ij}=\sqrt{x_{ij}^{\prime 2}+y_{ij}^{\prime 2}+z_{ij}^{\prime 2}}$, ${\theta }_{ij}=\arccos \frac{z_{ij}^{\prime }}{{\rho }_{ij}},{\varphi }_{ij}=\mathrm{atan}2\left(y_{ij}^{\prime },x_{ij}^{\prime }\right)$。

Channel de-differentiation 不同类型的输入（坐标、法向量点特征）在数据分布上有着很大的偏差。为了平等的处理不同的输入，我们探索用于沿着通道维度的differentiation。本文采用Post-CD，在每个线性方程后面都用用batch normalization。

4. 实验

4.1. Classification

4.2. Segmentation

4.3. Detection

4.4. Ablation study

ModelNet40

Types of RepSurf.

Design of RepSurf block.

Group size.

Polar auxiliary.

Channel de-differentiation.

这里，vanilla表示PointNet++，Pre-CD表示在线性函数之前加BN，Post-CD表示在线性函数之后加BN。实验证明，在之前加BN会使得输入的原始语义变得模糊。

5.结论

Limitation.

• 由于KNN算法对于噪声的敏感性较强，所以RepSurf在进行surface reconstruction时可能会收到噪声的影响。
• Umbrella RepSurf对于杂乱无章的点来说还是脆弱的，因此，在搜寻更多的neighbours时，neighbours将会变得很乱。

Conclusion.

Perspective.

• 点云的表示还是值得思考的一件事情
• RepSurf 能够解决实际场景的问题，因此在其他领域应该可以得到广泛的应用
• RepSurf 在point cloud sampling领域也有好的前景