论文阅读3 BiEquiFormer: Bi-Equivariant Representations for Global Point Cloud Registration

1、介绍

本论文标题翻译为《BiEquiFormer：全局点云配准的双等变表示》。本文提出的问题是全局点云配准（PCR）问题，即在不考虑点云扫描初始姿态的情况下，找到点云之间的最优对齐方式。传统优化方法在处理大规模点云数据时面临计算上的限制，且现有方法在点云初始姿态随机放置时性能显著下降。
文章提出了利用等变深度学习解决PCR问题的BiEquiformer架构。此架构为可扩展的双等变流水线，对输入点云的独立变换具有等变性，通过设计表达性强的双等变层，融合来自两个点云的信息。
下图展示了两对低重叠扫描点云的内点比率（IR）和配准指标，目的是展示BiEquiformer在不同初始姿态下对点云配准的鲁棒性：
RRE（旋转回归误差）、RTE（平移回归误差）和RMSE（均方根误差）是评估点云配准精确度的度量指标。

左侧展示了GeoTransformer和BiEquiformer都能够恢复正确的配准并且具有高内点比率。右侧展示在此相对姿态下，GeoTransformer无法找到好的匹配。

2、概念

1.点云配准（PCR）：是一种将多个点云数据集合并到一个统一坐标系的过程，使得来自不同视角或不同时间获取的点云数据能够精确对齐。
2.3DMatch：一个用于评估点云配准算法性能的数据集和基准测试平台，它由一组室内和室外场景的3D重建组成。
3.双等变表示：能够对两组点云数据的独立变换保持等变性的特征表示方法。
4.RRE：旋转回归误差，衡量估计的旋转矩阵与真实旋转矩阵之间的差异。通过Frobenius范数或者旋转角度来表示两个旋转矩阵之间的差异。
5.RTE ：平移回归误差，衡量估计的平移向量与真实平移向量之间的差异。通过欧几里得距离来计算两者之间的差异。
6.RMSE：均方根误差，是一种综合考虑旋转和平移误差的度量方式。它是配准误差的平方和的均值的平方根，可以同时反映旋转和平移误差的大小。
7.RR (Registration Recall)：注册召回率，衡量算法正确配准的点云对的比例。值越高，表示算法在该数据集上的表现越好。
8.Mean RR (Mean Registration Recall)：平均注册召回率，估计在不同初始姿态下的平均注册召回率。这个指标考虑了点云在不同姿态下的配准性能。
9.Robust RR (Robust Registration Recall)：鲁棒注册召回率，表示在整个数据集中，对于每个点云对，最小召回率的平均值。这个指标特别关注算法在面对不同姿态时的鲁棒性。
10.Mean IR (Mean Inlier Ratio)：平均内点比率，衡量在正确配准下，点云中正确匹配的点的比例。内点比率越高，表示配准的精度越高。
11.Robust IR (Robust Inlier Ratio):鲁棒内点比率，与鲁棒注册召回率类似，这个指标衡量在不同姿态下，点云对的最小内点比率的平均值。

3、模型

下图为 BiEquiFormer 的架构，是一个基于注意力机制的双等变流水线。图展示了架构通过一系列等变和双等变层来处理点云数据，以及通过注意力机制来提取和对齐特征，最终实现点云的精确配准：
1.Shared Equivariant Backbone：在点云配准过程中用于处理输入点云的共享的等变特征提取器，能够同时从两个点云中提取出等变的特征表示。分为两个部分理解。shared（共享的）表面特征提取器可以同时处理两个点云（源点云和目标点云），减少计算量；Equivariant Backbone (等变主干网络)指的是特征提取器具备等变性，即它能够保持输入数据在经过某些变换（如旋转、平移等）后的特征表示的一致性。
2.coarse（粗）&fine（细）：用来描述点云配准过程中的两个不同阶段的精度或粒度
3.Invariant Features X/Y：表示点云 X/Y 的不变特征，这些特征在点云的旋转或平移变换下保持不变。
4.Equivariant Features X/Y：表示点云 X/Y 的等变特征，这些特征随着点云的旋转或平移变换而相应变换。
5.Equivariant Self-Attention & Cross-Attention：自注意力（Self-Attention）和交叉注意力（Cross-Attention）层用于更新点云中点的特征，使得特征能够捕捉到点云内部和点云之间的空间关系。
6.Frame Alignment：帧对齐，指将不同坐标系下的点云对齐到一个统一的参考坐标系中。通过一个局部到全局的变换方案来计算最终的对齐变换。
7.Coarse Similarity：粗略相似度模块，用于初步估计点云间的相似度或对应关系。
8.Fine Point Matching：精细点匹配模块，用于在点云的局部邻域内进行精确的点对点匹配。
9.Estimated Transformation：表示最终估计的变换矩阵 R、T，它将源点云变换到参考点云的坐标系中。
10.Bi-Equivariant Feature：双等变特征，指能够同时对两个点云的独立变换保持等变的特征。
11.Global Step&Local Step：分别表示全局步骤和局部步骤。

4、方法

1.双等变特征表示：能够处理输入点云的独立变换，并且对这些变换保持等变性。
2.等变深度学习(Equivariant Deep Learning)：利用等变深度学习原理，提出了能够对点云进行鲁棒配准的网络结构，即使在点云初始姿态随机变化的情况下。
3.BiEquiformer架构：构建了一个端到端的双等变注意力机制架构，该架构可以提取高质量的点云特征并实现有效的点云配准。
4. 粗到细的配准策略(Coarse-to-Fine Strategy)：先进行粗略的点云块匹配，然后对匹配的点云块进行精细的点匹配。
5. 自注意力和交叉注意力机制：使用自注意力和交叉注意力层来更新点云中点的特征表示，增强了模型对局部和全局上下文的理解。
6. 最优传输层(Optimal Transport Layer)：利用最优传输理论来计算点云中精细点对应关系的成本矩阵，并通过Sinkhorn算法来获得软分配。
7. 局部到全局的变换方案(Local-to-Global Registration Scheme)：在粗略匹配和精细匹配之后，使用局部到全局的方案来评估和选择最佳的对齐变换。
8. 迭代细化(Iterative Refinement)：通过迭代地应用模型并利用先前估计的变换作为输入，对配准结果进行细化。
9. 不变和等变特征提取(Invariant and Equivariant Feature Extraction)：利用特定的网络结构来提取点云的不变特征和等变特征，这些特征对于后续的匹配和对齐至关重要。
10. 特征融合：设计了能够融合来自两个点云的信息的层，以产生更丰富的特征表示，这有助于提高配准的准确性。

5、算法

下图为PCR 的等变属性特征化：
设SE(3) 表示旋转和平移的群，SO(3) 是它的旋转子群。下图分别为三个命题：
3.1 PCR是输出SE（3）-双等变的。
3.2 PCR对参数的顺序是等变的。
3.3 （排列等变性）PCR对点的顺序是不变的。

6、实验

下图比较了几种先进的点云配准方法在处理不同重叠程度的点云数据时的鲁棒性：
使用了注册召回率（Registration Recall）和内点比率（Inlier Ratio）作为评价指标。注册召回率衡量的是正确配准的点云对的比例，而内点比率衡量的是在正确配准下，点云中正确匹配的点的比例。
图中显示，随着点云重叠的减少，所有方法的性能都有所下降，尤其是在鲁棒性指标上。这表明在低重叠的情况下，配准任务变得更加困难。GeoTransformer在不同初始姿态下表现出比其他方法更好的鲁棒性。
Mean Original：原始数据集
Mean Augmented：增强数据集，是通过在每个点云上独立地旋转，从而创建多个配置来增加数据集的多样性。
Robust Augmented：表示在增强数据集中，每种方法在每个重叠区间的最小性能的平均值。

下表展示了不同点云配准方法在 3DMatch 和 3DLoMatch 数据集上的性能比较：
具体数据解释：

• 3DM 和 3DLM 分别代表 3DMatch 和 3DLoMatch 数据集。
• Mean RR 和 Robust RR 显示了在原始数据集和增强数据集中的平均注册召回率。
• Mean IR 和 Robust IR 显示了在原始数据集和增强数据集中的平均内点比率。

下表为消融实验：

展示了BiEquiFormer方法在点云配准任务中的一些定性结果：