GeoTransformer：Geometric Transformer for Fast and Robust Point Cloud Registration 论文解读

Struart_R

已于 2024-08-02 14:05:22 修改

阅读量1.8k

点赞数 31

分类专栏：点云配准文章标签： transformer 深度学习点云配准

于 2024-07-18 18:19:57 首次发布

本文链接：https://blog.csdn.net/m0_60177079/article/details/140522887

版权

点云配准专栏收录该内容

16 篇文章

订阅专栏

一、导言

该论文提出了一种Geometric Transformer的快速且鲁棒的点云配准方法。

（1）GeoTransformer 采用几何自注意力和特征交叉注意力模块，来学习点云的几何不变性。

（2）GeoTransformer 在建立全局与局部关系时采用超点匹配，并在超点匹配时使用了overlap-aware circle loss，而不是传统的Crossentropy损失，这种方法可以避免交叉熵损失带来的高置信度匹配的抑制问题。

（3）GeoTransformer 是一种无需关键点检测和RANSAC的方法，能够提取准确的对应关系来进行点云配准。

二、先导知识

1、超点匹配

超点匹配来自于图像匹配的启发，先使用特定网络（本文使用KPConv-FPN）将输入点云进行分层下采样，获得超点，然后提取超点之间的对应方法，即检查局部邻域是否重叠来进行匹配，最后将这种匹配关系传播到单点，产生密集点对。此时密集点对的精度也就会极大依赖于超点匹配的精度。

超点匹配的特点，超点之间是稀疏松散的，减少了严格的点匹配和patch overlap，放宽了重复性的要求。另外基于patch overlap的方法要比基于距离的point match有更为可靠、信息丰富的约束，也可以获得更为全局context的特征。

2、KPConv

简述KPConv的思路：

（1）以点 $x$ 为球心确定一个球体

（2）在球体中确定若干核心点，核心点不是点云的点，具体的取点规则在后文

（3）对于落在球体范围的点云中的点 $x_i$ ,用核函数计算该点的权重矩阵系数，并用矩阵对该点的特征进行变换

（4）最后将落在球体范围内点云中的所有点逐一进行（3）变换，并将变换后的特征叠加，得到该点 $x$ 的特征。

核心点取点规则：

（1）球心点作为第一个核心点

（2）看需要多少点，其余点保证相互斥力关系稳定情况下逐个选点（类似万有引力，其实就是正n-1面体，理论上应该都是球面点）

具体公式见：https://zhuanlan.zhihu.com/p/92244933

论文指南：https://arxiv.org/pdf/1904.08889

三、相关工作

1、基于对应的方法

相较于之前做的EGST论文解读基于无对应的方法，而该论文遵循基于对应的方法，依赖于显式的位置编码。

近期的基于对应的方法中一般有两大类：

第一类：检测更多可重复的关键点并学习更鲁棒的关键点描述子

第二类：无需关键点检测，而是考虑所有可能的匹配（本文属于后者）

2、直接配准方法

直接配准工作在单一合成形状中效果较好，但在大规模场景中会造成失败，原因在于过分依赖全局特征，在复杂场景中更要兼容局部与全局性。

直接配准工作一般两类：

第一类：ICP思想，通过建立软分配关系，使用可微分加权的SVD计算变换（在本文点云匹配后也是用可微分加权的SVD来提取局部特征）

第二类：提取点云全局特征向量进行回归变换

3、深度鲁棒估计

本文提到在高离群值比情况下，RANSAC方法收敛缓慢且不稳定，所以前人设计了一个深度鲁棒估计量，来摆脱异常值的干扰，而该论文GeoTransformer使用了一个无参数的LGR算法（局部到全局配准方案），实现高效准确配准。

四、GeoTransformer模型

GeoTransformer的步骤分为特征提取，超点匹配，点云匹配，局部全局配准四个过程。

1、特征提取

特征提取利用KPConv+FPN的结构提取多层次特征，输入源点云和目标点云，输出KPConv的output的两个点云特征，以及输出FPN后的output的两个点云特征。

特殊符号：

$P,Q$ ：源点云和目标点云

$\widehat{P},\widehat{Q}$ ：KPConv的输出，点云特征

$\widehat{p}_{x_i},\widehat{q}_{x_i}$ ：将 $\widehat{P},\widehat{Q}$ 进行超点匹配后的若干点

$\tilde{P},\tilde{Q}$ ：FPN的输出，密集点点云特征，一般是input分辨率的二分之一

$\mathit{G}_i^P$ ：密集点及密集点特征分配到最近的超点，计算平均最小均方误差

$G_i^P=\left \{ {\tilde{p} \in \tilde{P}|\ i=argmin_j(||\tilde{p}-\widehat{p}_j||_2,\widehat{p}_j \in \widehat{P})}\right \}$

2、超点匹配

对于KPConv输出的点对关系输入到超点匹配模块，输出全局密集的点对应关系。超点匹配模块包括：几何自注意力模块，特征交叉注意力模块，计算高斯相关性，对应点采样。

几何自注意力模块

使用几何自注意力模块和特征交叉注意力模块的目的是：学习不受变换影响且表达几何一致性的超点特征表示。

下面为几何自注意力模块（这个图简直深似结构自注意力机制），但是他的计算注意力得分公式并不一样：，几何自注意力机制中更多考虑了几何关系，比如引入超点特征向量 $x_i,x_j$ ,几何结构嵌入向量 $r_{i,j}$ ,通过作为注意力机制中的Q、K、R的权重系数，通过几何关系来影响注意力机制。

特殊符号：

$x_i,x_j$ ：表示输入特征矩阵x的第i个和第j个超点特征向量

$r_{i,j}$ ：表示第i个和第j个超点之间的几何结构嵌入向量，由两个部分构成包括： $r^D_{i,j}$ （编码超点之间的距离信息）， $r^A_{i,j,x}$ （编码超点之间的角度信息）。嵌入向量构成关系及数学表达式：

特征交叉注意力

给定两个自注意力模块输出的特征矩阵，输入到交叉注意力机制，计算各自的特征矩阵 $Z_i^Q,Z_i^P$ ,并且计算注意力得分 $e_{i,j}$ ，公式如下：。

为什么要进行这两个注意力模块？

几何自注意力模块用于对点云变换不变几何结构进行编码，特征交叉注意力模块用于对点云几何一致性进行建模，保证得到的混合特征对变换是不变的，不受变换影响。

计算高斯相关性

计算高斯相关性的目的：找互相重合的点云块（一块区域的点）

首先对超点特征向量归一化到单位超球面上，计算两个点云超点特征向量之间的高斯相关性得分，用来找到最相似的超点对，以得到高质量的超点对应关系（因为本文无需关键点匹配，所以只能优化匹配关系）。归一化公式如下，这个公式不太理解为什么放了个指数结构，估计是球面影响，不懂！

另外为了避免有一些与多个点都高度匹配的点，抑制歧义匹配，还会进行双向归一化操作。

对应点采样

top-k选择是用来对应点采样的一种方法，相较于随机采样，可以得到更确定性的点对应，用于后续的配准计算。

3、点匹配

对于上一环节已经找到相互重合的两个点云块，要继续找到里面的点云匹配对（化区域为个体）。

思路：计算一个点云块中一个点与另一个点云块中所有点的相似性，相似性最高的为匹配对。

首先计算相似关系矩阵，并使用Sinkhorn算法设计分配矩阵Z来选择匹配对，为了使得整体匹配置信度达到最优，使用选择置信度最高的K个作为匹配对。

4、局部到全局的配准

在局部阶段，使用超点对应关系计算匹配矩阵后，根据上一步取匹配对后作为本轮结果，并将上一轮的匹配矩阵与本轮的匹配对进行比较，若不满足则去除，多次进行迭代，计算新的变换矩阵。

5、损失函数

计算局部点对应关系损失 $L_{oc}$ （overlap-aware circle loss）和全局点对损失 $L_p$ 两部分相加。

$L_{oc}$ 关注点对间的重叠关系，给重叠较高的点对以更大权重，同时关注正负样本的重叠。

$L_p$ 采用负对数似然损失，对稀疏的全局点对关系进行监督，分别考虑点对关系和两个点云的内部点间关系

五、实验

1、比较不同数据集下中RANSAC为基础的方法

在不同数据集中，相较于RANSAC方法为基础的如3DFeat-Net方法性能相当，略有优势。

2、比较无RANSAC的方法

该方法在RANSAC-free下优于其他诸如FMR的方法。

3、几何自注意力模块

相较于传统自注意力模块，几何自注意力在低重叠场景下更为鲁棒。

论文参考：https://arxiv.org/abs/2202.06688