Mutual_Voting_for_Ranking_3D_Correspondences

因为目前主要在看表示学习，所以配准了解较少，这篇文章就主要记录了一下相关工作和作者提出的非dl的模型，实验部分很简略，大家可以做参考。

Abstract

在摘要部分，作者介绍了一种新颖的相互投票方法，用于对三维（3D）点云之间的对应关系进行排序。

尽管现有的3D关键点检测器和描述符在性能上有所限制，导致初始对应集中存在异常值，但通过相互投票方法，可以对这些对应关系进行可靠的评分。方法首先构建了一个图，图中的节点表示初始对应集中的点对应关系，边则表示这些对应关系之间的几何兼容性。接着，作者引入了节点聚类系数，是一种用于初步识别和移除异常值的度量，同时也加快了后续投票过程的速度。

在相互投票过程中，图中的节点和边分别被视为候选项和投票者。通过这种“节点 ↔ 边”的双向投票机制，对所有对应关系进行了评分。最终，根据这些投票得分，对应关系被降序排列，排名最高的对应关系被认为是内点，即正确的匹配。

最后，通过在多个数据集上的实验，包括特征匹配、3D点云配准和3D物体识别，验证了相互投票方法在面对不同挑战性设置（如噪声、不同的数据分辨率、遮挡和重叠不足）时的鲁棒性。结果表明，该方法不仅对大量异常值具有鲁棒性，而且能够显著提升3D点云配准和3D物体识别的性能。

Introduction

这一部分，作者首先强调了点云特征匹配在3D计算机视觉领域的重要性。它是3D重建、3D物体识别、3D物体跟踪和点云配准等任务的基础。在这些任务中，正确建立点云序列中的点对点对应关系至关重要。通常，这些对应关系是通过两步过程产生的：初始对应生成和内点选择。

然而，现有的3D关键点检测器和描述符在性能上存在限制，导致初始对应集中存在异常值。此外，现实世界的应用中，噪声、不同的数据分辨率、干扰和遮挡等因素会进一步产生异常值。因此，内点选择成为了获取几何上一致的对应关系的关键步骤。

同时，作者回顾了现有的基于几何的3D内点选择方法，方法可以被归类为基于标签的方法和基于分数的方法。基于标签的方法设计了一个二类分类器来为对应关系分配二元标签，而基于分数的方法首先计算输入对应关系的置信度分数，然后根据评分结果对对应关系进行排序。作者指出，基于特征相似性约束的方法并不稳健，因为特征描述符的描述性并不能得到保证。而依赖于几何约束的方法在3D特征匹配中更为常见，其中基于投票的方法因其有效性和简单性而受到越来越多的关注。

现有的基于投票的方法在某些情况下有效，但它们通常对异常值敏感，并且存在一些局限性。例如，一些方法主要在欧几里得空间中进行投票，使得它们难以准确建模对应关系之间的兼容性关系，并充分利用内点之间的一致性。此外，基于深度学习的方法通常需要大量的数据进行训练，并且在不同下游任务中的泛化能力较差。

鉴于这些考虑，作者提出了一种新颖的相互投票（MV）方法，用于3D内点选择。与现有基于投票的方法不同，现有方法遵循单向的“投票者 → 候选项”投票模式，忽略了投票集中可能存在的不可靠投票者，从而导致投票得分的说服力降低。相比之下，MV的关键思想是通过在相互投票方案中同时优化投票者和候选项来实现对对应关系的可靠评分结果。MV是第一个提出用于对3D对应关系进行评分的相互投票方案。

最后指出，本文提出了一种新颖的MV方法，该方法通过相互投票机制来对3D对应关系进行排序，并通过一系列实验验证了其在不同数据集上的鲁棒性和有效性。实验包括特征匹配、3D点云配准和3D物体识别，结果表明MV能够显著提升现有流水线中3D点云配准和物体识别的性能。

Related Work

作者们首先对2D和3D领域中的一些方法进行了综述。首先回顾了2D特征匹配的传统方法，例如Fischler等人提出的随机抽样一致性（RANSAC）方法，是一种通过迭代方式在包含异常值的数据集中找到最优参数模型的方法，广泛应用于图像对齐和拼接。RANSAC通过随机抽取样本并进行假设生成与验证过程来估计变换，但在面对大量异常值时，其准确性和效率有限。为了解决这些问题，研究者们提出了RANSAC的多种变体。

接着，作者提到了基于谱分析的方法，这些方法通过假设内点通常形成簇来进行一致性对应关系的查找。另外，还有基于图匹配的方法，它们通过最小化能量函数来评估初始对应关系。然而，这些方法通常要求初始对应集中具有较高的内点比例，并且大多数图匹配方法存在可扩展性和效率有限的问题。

在2D特征匹配中，基于学习的方法将内点选择问题视为二元分类问题。Yi等人提出了首个基于多层感知网络的深度学习特征匹配器，但这种方法未能挖掘对应关系中的局部特征。为了解决这个问题，后续的工作如NM-Net和OA-Net引入了各种局部特征挖掘模块来捕获局部信息。

然后，转向3D特征匹配，讨论了基于分数的方法，这些方法基于特征相似性得分对3D对应关系进行排名，但这些局部特征可能对噪声和数据分辨率变化敏感。Rodolà等人提出了一种博弈论匹配（GTM）方法，它在局部操作中寻求点之间的全局一致性。Buch等人提出了一种基于投票的方法，结合了局部和全局约束来对对应关系进行评分。

在基于标签的方法中，作者们区分了几何方法和基于深度学习的方法。几何方法假设正确的对应关系可以形成簇，并倾向于一次性找到这些匹配。而基于深度学习的方法则尝试设计独特的深度学习分类器来进行对应关系的选择。虽然基于深度学习的方法取得了显著的性能，但通常需要大量的训练数据，并且在现实世界应用中，泛化能力仍然是一个问题。

因此，作者提到了本文主要关注几何方法。与现有方法相比，作者提出的相互投票（MV）方法有两个区别：首先，MV不是在欧几里得空间中进行投票，而是在图空间中进行，以更好地建模对应关系之间的兼容性关系；其次，现有的基于投票的方法是单向的，忽略了不可靠投票者的存在，而MV是一种相互投票方法，它通过“候选项 → 投票者”的投票进一步优化投票者，以提高投票集的质量。

最后，作者指出，尽管基于深度学习的方法在某些情况下表现出色，但它们需要大量的训练数据和GPU计算能力。相比之下，MV方法无需大量训练数据和GPU计算，就能在3D点云配准和3D物体识别应用中取得更好的性能。

METHODOLOGY

这一部分是方法论，作者的方法分成了四步，会在下面详细说。

MV方法的四个步骤

图构建(Graph Construction)

初始对应集被转换成一个图结构，其中图的节点（V）代表点云中的点对应关系，图的边（E）表示这些对应关系之间的几何兼容性。通过计算两个对应关系之间的距离差异来量化它们的刚性，如果这个距离差异小于一个预设的阈值，则认为这两个对应关系是兼容的，并在图中形成一条边。边的权重由两个对应关系的兼容性得分决定，这个得分是通过高斯函数计算得出的，反映了它们成为内点的概率。

节点聚类系数计算(Nodal Clustering Coefficient Calculation)

节点聚类系数用于衡量图中节点的局部连接密度，即一个节点的邻居节点之间相互连接的程度。每个节点的聚类系数通过其邻居节点之间实际存在的边的权重之和与可能存在的边的权重最大值的比例来计算。引入聚类系数的概念是为了在投票前预先识别和移除异常值。通过设置一个阈值，可以移除那些聚类系数较低的节点，这些节点很可能是异常值。

相互投票(Mutual Voting)

相互投票是MV方法的核心，它在图中的节点和边之间进行。在“节点 → 边”投票阶段，每个节点为其连接的边投票，以此来为边分配权重。这是通过找到每个边的“兼容节点集”（CNS）来实现的，即与边的两个端点都相连的节点集合。在“边 → 节点”投票阶段，边根据其CNS中的节点为节点投票，从而为每个节点累积投票得分。

这种双向投票机制确保了投票的可靠性，因为一个节点的得分不仅基于其他节点对它的直接投票，还基于它与边的关系。

对应关系排序(Correspondence Ranking)

根据相互投票阶段得到的投票得分，所有对应关系将被降序排列。排名最高的对应关系将被选为内点。选择内点的方法可以是使用大津阈值法（OTSU）进行自动选择，或者根据特定应用场景选择前K个对应关系。这一步骤的目的是最终确定哪些对应关系是可靠的，可以用于后续的3D点云配准或物体识别任务。

EXPERIMENT

在实验部分，作者设计了一系列实验来评估他们提出的相互投票（MV）方法的性能。实验分为三个主要部分：特征匹配、点云配准和3D物体识别。

特征匹配实验中，使用了包括UWA 3D建模（U3M）、博洛尼亚网格配准（BMR）、UWA 3D物体识别（U3OR）和博洛尼亚数据集5（BoD5）在内的多个数据集。采用了召回率作为主要的评估指标，通过改变召回率的阈值K，记录不同K值下的内点数量，并绘制了召回率曲线。MV方法与现有的九种最先进方法进行了比较，包括基于相似性得分（SS）、最近邻相似性比（NNSR）、谱技术（ST）、搜索内点（SI）、博弈论匹配（GTM）和一致性投票（CV）等方法。

点云配准实验涉及了U3M、3DMatch、3DLoMatch和KITTI数据集。使用了均方根误差（RMSE）、旋转误差（RE）和翻译误差（TE）作为评估指标。MV方法被集成到基于RANSAC的配估方法中，以验证其在不同假设评估指标下的性能提升。

3D物体识别实验使用了Queen和U3OR数据集来评估MV方法在3D物体识别任务中的性能。评估指标包括点云残差误差（εres）和点云重叠率（rov）。

在所有实验中，MV方法展现出了卓越的性能。尤其是在存在大量异常值和不同挑战性条件下。此外，作者们还进行了一些额外的分析和实验，以验证MV方法不同组件的有效性，包括兼容性约束的合理性、聚类系数阈值的自适应设置、以及使用节点聚类系数进行异常值移除的必要性。

最后，实验部分还包括了对MV方法计算效率的评估。结果表明，即使在大规模点云数据上，MV方法也能够高效地执行特征匹配，对于实时应用是非常重要的。通过这些全面的实验，作者成功地证明了MV方法的有效性和实用性。

Conclusion

结论部分，作者总结了提出的相互投票（MV）方法的主要贡献和实验结果，并讨论了未来的研究方向。

首先概括了MV方法的核心思想，即通过在相互投票方案中同时优化投票者和候选项来实现对3D点云中对应关系的可靠评分。强调了MV方法在不同挑战性条件下的鲁棒性，尤其是在面对大量异常值时，MV方法能够有效地识别和排序正确的对应关系。

同时，通过在多个数据集上进行的特征匹配、3D点云配准和3D物体识别实验，作者证明了MV方法能够显著提升现有流水线中的性能。

尽管MV方法已经取得了令人鼓舞的成果，但作者也提出了未来研究的方向。首先计划探索更先进的兼容性度量方法，以更准确地捕捉点云中对应关系之间的几何兼容性。其次，希望研究端到端的投票过程，目标是直接从包含异常值的原始对应关系中计算出刚性变换，而无需依赖于外部的配准算法，如RANSAC。

作者得出结论，MV方法是一个有效且鲁棒的3D点云对应关系排序方法，它在各种具有挑战性的环境中都表现出了卓越的性能。