PointNet的缺点:
PointNet不捕获由度量空间点引起的局部结构,限制了它识别细粒度图案和泛化到复杂场景的能力。
利用度量空间距离,我们的网络能够通过增加上下文尺度来学习局部特征。
点集通常采用不同的密度进行采样,这导致在统一密度下训练的网络的性能大大降低。
新的集合学习层来自适应地结合多个尺度的特征。
一,介绍:
PointNet++:分层方式处理在度量空间中采样的一组点 。
通过基础空间的距离度量将这组点分割成重叠的局部区域。
提取局部特征来捕获来自小邻域的精细几何结构; 这些局部特征被进一步分组为更大的单元并被处理以产生更高级的特征。
重复这个过程直到我们获得整个点集的特征。
需要解决的问题:
如何生成点集的划分
如何通过局部特征学习抽象点集或局部特征。
这两个问题是相关的:
点集的分割必须产生跨分区的共同结构,以便像卷积设置那样共享局部特征学习者的权重。
PointNet++在嵌套的分割输入集上递归的运用pointNet
每个分区:相邻的球。每个分区包含质心位置和规模。质心通过最远采样点算法获得(FPS)
感受野依赖输入数据和度量。
二.问题描述:
X= (M; d) 是离散的度量空间,m是点,d是距离度量。m的密度不均匀,
三.方法:
可以看作增加了层次结构的pointNet,
复习pointnet:缺乏不同规模上捕捉局部上下文的能力。(采用分层特征学习框架)
分层架构:
New architecture builds a hierarchical grouping of points and progressively abstract larger and larger local regions along the hierarchy.
At each level, aset of points is processed and abstracted to produce a new set with fewer elements.
抽象层的三个关键层:
Sampling layer:selects a set of points from input points (确定局部区域的图心)
Grouping layer:分组层通过查找质心周围的“邻近”点来构建局部区域集。
PointNet layer :使用小型PointNet将局部区域模式编码为特征向量
输入:N * (d + c) 矩阵,d纬度坐标,c点特征纬度。
输出:. It outputs an N0×(d+ C0) matrix of N0subsampled points with d-dim coordinates and new C0-dim feature vectors summarizing local con