论文《A Correlation-Based Approach to Robust Point Set Registration》学习

摘要

（2004年SCI四区）
相关是一种非常有效的对齐强度图像的方法。我们使用一种称为核相关的方法将相关技术扩展到点集注册。核相关是一种亲和关系，也是点集熵的函数。我们将点集注册问题定义为找出两个要注册的点集的最大内核相关配置。该配准方法解释直观，算法实现简单，易于证明其收敛性。与迭代最近点(ICP)和EM-ICP方法相比，我们的方法具有良好的性能。

1. Introduction

点集配准是视觉研究中最基本的问题之一。它广泛应用于距离数据融合、医学图像对齐、目标定位、跟踪、目标识别等领域。

配准最有效的方法之一是相关法。在视觉问题中，两个图像块之间的相关性一直被用来确定它们之间的相似性。然而，在研究离散点集时，例如距离传感器或特征探测器返回的点集，我们只得到一组点的坐标。相关性的定义不再直接适用，因为我们得到了一组没有任何外观信息进行比较的几何实体。

然而，特征点的存在与否本身比单个点的坐标更能说明问题。它们还表示点集所隐含的结构。捕获这种结构的最简单方法是将特征点视为只有0(缺失)和1(存在)值的二元强度图像。然而，当噪声出现时，或者当我们在获取两点集时采用不同的采样策略时，二值图像通常不匹配。

下面我们介绍一种称为核相关的技术，它将相关的概念应用于点集。我们首先介绍内核相关。

2. Kernel Correlation

2.1 Definitions

核相关(KC)是在三个层次上定义的。首先，它定义在两点上。给定两个点$x_i和x_j$，它们的核相关(KC)定义为
$$KC(x_i,x_j)=\int K(x,x_i)\cdot K(x,x_j)dx(1)$$
这里$K(x,x_i)$是一个以数据点$x_i$为中心的核函数。我们将自己限制在Parzen窗口密度估计[11]中通常使用的对称的、非负的内核函数，而不是机器学习社区中更广泛的“内核”定义。这些核包括高斯核、依帕内奇尼科夫核、三次核等。在下面的例子中，我们使用高斯核作为例子来说明它的简单性。高斯核的形式为:

这里$||x-y||$是两个向量x和y之间的欧氏距离，D是向量的维数。因为我们采用的核函数是对称的，所以(1)中定义的KC是两点之间距离的函数就不足为奇了。例如，高斯核对应的KC为，

其他核的KC也可以表示为距离$||x-y||$的函数。为了使演示更清晰，我们不在这里列出它们。但我们将在必要时讨论它们与高斯核的共享属性。(3)的右侧在视觉群落中被称为“亲和度”或“接近度”[17]:亲密度度量。本文讨论了它在配准问题中的应用。

接下来，我们定义一个点与整个X点集之间的KC，即遗漏核相关(LOO-KC)

根据(3)和(4)，对于高斯分布的情况

遗漏KC定义了从点到点集的总亲和力。最后，我们将KC的定义扩展到一个点集:集合中所有点$x_k$的LOO -KC的总和，

如果集合中的点彼此接近，则KC值很大。在这个意义上，点集的KC是点集的紧度量。

最后，我们将KC定义扩展到一个点集：集合中所有点$x_k$的LOO-KC的总和，

如果集合中的点彼此接近，则KC值很大。在这个意义上，点集的KC是点集的紧度量。

2.2 Entropy Equivalence

如果我们将点集X的密度定义为核密度估计:

取Renyi的二次熵(RQE)[15]为，

点集的KC与熵测度的关系很简单，

上面的观察直接通过扩展熵定义中的${\int }_{x}P(x{)}^{2}dx$ 项来进行。事实上

这里我们使用${\int }_{x}K(x，x_i{)}^{2}dx$ 是常数和$KC(\mathcal{X})$（6）的定义。注意，只要定义了积分，这个关系就不假设任何特定形式的核函数。

因此，KC的紧度度量与熵的紧度度量相联系。最小熵系统是指所有点对之间具有最大亲和力(最小距离)的系统。信息理论紧度测度确实具有几何意义。

普林西比和徐的独立工作引起了我们的注意[13]。他们扩展了高斯情形下的RQE定义，并将交叉积项的积分定义为“信息势”。它们的目的是在信息论学习的背景下有效地评估熵和熵梯度。相反，我们的目标是配置一个动态点集。

2.3 KC as an M-Estimator

如果只涉及两个点，则最大KC对应于它们之间的最小距离。然而，当我们处理多个点时，并不能立即看出优化的是什么。例如，在高斯情况下，我们有(5)最大化KC意味着什么?在这种情况下，我们仍然在最小化距离，但是在m估计的意义上。

在M-估计中，我们不是最小化通常的二次距离之和$Eq={\sum }_j(x_i-x_j{)}^2$，而是最小化距离函数$Er={\sum }_{j}g((x_i-x_j{)}^2)$的鲁棒版本，其中g是鲁棒函数[8]。将二次距离函数转化为鲁棒函数的优点是，$x_i$的局部构型对远点不敏感。为了了解这一点，我们比较了上面两个函数的梯度。

梯度项(10)对离群点非常敏感，因为任何离群点x j都可以对梯度有任意大的贡献。记住，梯度是更新$x_i$的方向(在二次函数中是大小)。为了最小化$E_q$，对$x_i$的估计将严重偏向离群点。在$K{C}_G$的情况下,然而,有一个第二个任期$exp(-||x_i-x_j||/2{\sigma }^2)$,衰减指数作为距离的函数。因此，远端异常值对局部极小化没有影响。

当我们使用高斯核以外的核时，我们仍然可以在KC最大化时得到M-估计量的等价性。例如，通过使用Epanechnikov核，我们隐式地将一个线性过程[5]嵌入到相关过程中:超过一定距离的点没有贡献。

Chen和Meer[3]还观察到在核密度估计和m估计中模式发现的等价性。不同之处在于，它们是将参数模型拟合到一组静态数据(投影追踪的例子)，或对静态点集进行聚类。KC的引入是对动态点集进行鲁棒配置。

3 Kernel Correlation for Registration

给定两个有限大小的点集，模型集M和场景集S，我们的配准方法定义为求变换T的参数θ以最小化以下代价函数，

注意，在上面的方程中，每个变换后的模型点m与所有的场景点相互作用。我们调用(12)一个多重关联的注册成本函数。这与ICP算法相反，在ICP算法中，每个模型点只连接到最近的场景点。可以看出，

KC（S）与θ无关。在刚性变换,KC (T (M,θ))也是常数。这是因为KC是点对之间的欧氏距离的函数(如(3))。刚性变换将点集作为一个整体重新组合，并保持所有对点之间的欧氏距离。因此
KC (T (M,θ))是不变的。因此$KC(S\cup T(M,\theta ))=C-2COST(S,M,\theta )$。

由于KC与熵的等价性（第2.2节），我们的配准方法意味着在RQE意义下找到联合点集S∪T（M，θ）的最小熵配置。

通过表示核密度估计(KDE)为

我们可以看到，成本函数也与两个KDE的相关性成正比，

3.1 Convergence of a KC Registration Algorithm

很容易看出cost函数(12)是从下到上有界的。如果我们使用基于梯度下降的方法来最小化代价函数，使得代价函数在每一步都是递减的，那么代价函数收敛到一个不动点是有保证的。其他注册方法(如ICP或EM-ICP)的收敛特性通常很难研究，因为它们在最近邻上定义的成本函数随着点配置的演化在迭代之间发生变化。相反，KC注册函数是全局定义的，每一步最小化都会减少相同的代价函数。

3.2 Accuracy of KC Registration

我们将在第5节中实证研究我们的配准算法的准确性。在这里，我们将讨论一个最简单的情况来从理论上描述KC注册算法。

给定一个点集M和它的转换版本s=T（M，θ∗），一个注册方法应该满足我们所称的注册算法的最低要求。也就是说，θ应该对应于成本函数的全局最小值之一。尽管这一要求看起来微不足道，但我们将在实验中证明，其他多重链接注册算法并不能满足这一要求。本文首先证明了我们的配准算法在刚性变换下满足最小要求。不遵循刚性运动的延伸。我们观察到

这里，C是一个常数，这是由于一个点本身的KC值。KC (S)是θ的份措辞尖锐。当我们讨论在本节的开始,KC (T (M,θ))也是一个常数下刚性变换。因此，最小化(15)的左边等价于最小化我们的注册成本函数。当θ=θ时，PM和P S完全相同，且（15）的左侧为零，则为全局最小值。即${\theta }^{\ast }$对应于一个KC登记成本函数的全局最小点。注意，只要证明中的积分都定义好了，这个命题与所选择的核函数和核尺度无关。

如果最小化规范化KC代价函数，KC注册框架可以扩展到非刚性变换。通过将规范化项表示为$I_M=({\int }_x{P}_M^{2}dx{)}^{1/2}$，规范化成本函数为

与(16)相似，我们可以证明

其中$I_S=({\int }_x{P}_S^{2}dx{)}^{1/2}$与$\theta$无关。考虑到$S=T（M，\theta \ast ）$，${\theta }^{\ast }$将再次成为注册成本函数（17）的全局最小值之一，即使在非刚性变换下也是如此。

3.3 Discrete Approximation of the Registration Cost Function

在实践中，我们不需要为了评估成本函数(12)或(17)而枚举每一对模型和场景点。我们可以使用离散版本的(14)来近似注册成本。也就是说，我们在网格点x上计算两个离散的KDE，$P_M(x，\theta )$和$P_S(x)$，并使用$-{\sum }_x{P}_M(x，\theta )\cdot P_S(x)$来逼近比例成本函数。与ICP或EM-ICP方法相比，KC配准中不存在最近邻查找步骤，可以显著简化算法的实现。：在我们的算法中，P S (x)扮演了亲和映射的角色。通过将K(x,m)与$P_S(x)$关联，可以计算模型点m与场景点的亲和力。

4 Related Work

我们将亲和能信息存储在密度估计中。该方法与基于距离变换的配准方法有很多相似之处[2]。然而，有一些重要的区别。首先，众所周知，DT对异常值和噪声非常敏感，因为一个点可以对一个大区域产生影响。KC中每个点的影响都是局部的。因此，基于KC的配准可以对异常值具有鲁棒性。其次，对于通常的点集(如边缘映射或激光范围扫描)，我们的亲和力映射通常是稀疏的，大多数网格点的值为零。关联映射可以有效地存储在诸如八叉树之类的数据结构中。相比之下，3D的高分辨率DT是非常昂贵的。这促使Lavall ’ ee和Szeliski使用八叉样条[10]来近似3D DT。

一种基于DT的优雅配准方法是局部Hausdorff距离配准[9]。通过最小化部分Hausdorff距离，配准算法可以达到50%的故障点。其潜在的鲁棒性机制与稳健回归中的最小二乘(LMedS)算法[16]相同。然而，注册依赖于数据集中的一个临界点，其他点提供的大多数信息将被忽略。与其它的配准方法如ICP和我们提出的方法相比，它对噪声非常敏感。

Scott和Longuet-Higgins[17]探讨了通过对一个亲缘矩阵的奇异值分解(SVD)分析来寻找对应关系的可能性，该矩阵的元素与高斯KC值成比例。众所周知，他们的算法易受扰动，如大的旋转、离群值和噪声。此外，为大的点集形成一个大的亲和矩阵是昂贵的。

最成功的点集配准算法之一是迭代最近点(ICP)算法[1,19]。由于成本函数是距离的二次函数，所以单纯的ICP实现不是破产。为了获得健壮性，提出了类似于离群点检测的行处理或类似于m估计的成本函数[19,4]。KC注册可以被认为是多重链接和破产ICP。当我们在第5节中比较两种算法时，建立多链接的好处就会变得很明显。

KC配准在数学上与EM-ICP算法[6]和软分配算法[14]关系最为密切，这两个算法也是多重连接的ICP。例如，在每个步骤中，EM-ICP将以下功能最小化:

其中$N(m，\theta )={\sum }_{S}exp(-||T(m,\theta )-s|{|}^2/{\sigma }^2)$是一个标准化项。事实上，$K{C}_G$成本函数与EM-ICP有相同的梯度，除了正常态项。由于这些数学上的相似性，KC配准和EM-ICP的表现非常相似，只是EM-ICP不满足配准算法的最低要求:精确对齐的点集不符合EM-ICP成本函数的全局最小值。EM-ICP(以及Sof- tAssignment)算法可以根据被注册的点集和内核尺度，甚至对干净数据也可以进行有偏差的注册。这一点将在我们的实验中得到证明。对于这个主题的深入讨论，读者可以参考我们的技术报告18。此外，KC为使用不同的核函数进行配准提供了一个框架，其收敛证明不依赖于EM等统计方法。

5 Performance Evaluation

我们首先在二维中测试了ICP、EM-ICP和KC的收敛性。通过添加不同的随机噪声来生成道路数据的两个副本。然后，其中一个复制品在其质心上旋转一定角度。通过对旋转点集进行不同角度的配准，研究了三种配准方法的收敛性能。结果如图2所示。最左边的图显示了注册成本作为旋转角度的函数。请注意，我们允许完整的二维欧几里德运动和成本是一个三维函数。为了清晰起见，我们绘制了成本函数的一维切片。内核规模的σ= 15,EM -ICP和KC在整个测试范围内具有非常平滑的成本函数。在我们看到很多局部极小值，对应于图2中心图中更小的收敛区域。图中为配准后对应点间的平均配准误差。在这个数据集中，EM-ICP比KC注册具有更大的收敛范围。然而，我们在EM-ICP病例中不断观察到较大的配准误差。在这里，我们通过实验证明EM-ICP不满足注册的最低要求。右边的图显示了在无噪声情况下，平均配准误差作为核尺度的函数。无论内核规模如何，KC注册都没有错误。

我们对三维数据进行了两次不同的收敛性检验。我们画的100个随机θ(6 d参数空间)均匀分布的样本。我们使用随机参数转换bunny1数据集，并形成100对进行注册。成功注册的维恩图如图所示3(a)。KC方法有更大的收敛区域(79对60，或24对5排除“容易”的情况下，两者)。

接下来，我们研究了用激光扫描仪从不同角度获得的兔模型的32个扫描图像的配对配准。总共有496对点集需要注册。我们可视地检查每个注册结果。本实验的维恩图如图3(b)所示。同样，KC方法的成功率高于ICP(107比69，或排除“简单”病例48比10)。

实验表明，KC配准方法具有较大的收敛范围。这是由于平滑的成本函数，使优化算法更容易找到一个良好的注册。平滑性是通过加权一个点与其相邻点之间的多个链接的贡献来提供的。

5.2 Sensitivity to Noise

对于二维和三维数据，我们使用相同的方法来测试配准方法在噪声干扰下的灵敏度。我们生成相同点集的轻微旋转版本，并将零平均随机噪声添加到参考模型和旋转模型中。在每个噪声水平，我们登记30对噪声损坏点集。

注册后，我们计算两个注册点集中对应点之间的平均移动。如果点集记录良好，平均移动应该接近于零，因为增加的噪声的平均值为零。因此，我们可以用30对的平均移位的标准差来衡量对噪声的敏感性。我们将标准差和平均位移作为噪声水平的函数绘制在图4中。对于2D测试，内核尺度为5，对于3D测试为20。在两种情况下(2D和3D)，我们观察到KC配准的方差小于ICP。同时，配准误差小。

KC技术的优越性能可以用它与邻居的扩展交互作用来解释。KC考虑了大邻域内点的加权效应，而不仅仅是最近邻，从而获得了更好的抗噪声能力。

5.3 Robustness

为了测试鲁棒性，我们注册离群点损坏点集。我们以与前一节相同的方式生成参考模型和旋转模型。我们添加了20%的异常值，而不是用噪音破坏模型。离群点是从均匀分布中随机抽取的。损坏的点集如图5所示。在二维和三维的情况下，我们使用ICP和KC方法注册100对异常值损坏的数据。

图5中左边的两个图展示了2D配准最终结果的示例。对于ICP，我们尝试了三个异常值检测阈值，分别是20、5和20、5的串联。通过将两个ICP登记值与阈值20和阈值5连接起来，三种方法中最好的方法在100对ICP登记中正确登记了43对。相比之下，KC注册稳健地注册了所有100对。

3D注册的最终结果如图5中右边的两个图所示。ICP算法的性能超出了我们的预期。只有8对异常值损坏的数据集失败。然而，KC注册可以实现更好的健壮性。同样，通过使用大量不同的内核尺度，KC毫无错误地注册了所有100对。

在我们的3D KC注册实验中，我们确实观察到失败的案例，要么规模太小(容易成为离群干扰的牺牲品)，要么太大(包含太多的离群值)。因此，在异常值存在的情况下，如何选择合适的尺度是我们的技术中一个重要且有待解决的问题。

在我们的实验中有两种离群值。首先，与所有模型点有较大距离的点。这些点由KC的m估计机制和ICP的距离阈值处理。第二，落在模型点附近的点。这些要点可能会分散单一链接方法(如ICP)的注意力。对于KC，每个点都连接到多个点。只要离群点在当地的比例很小，它们的影响就可以通过其他离群点的贡献来抵消。因此，尽管有这些本地干扰，KC仍然能够注册。

6 Conclusions

本文提出了一种动态配置点集的配准方法，用KC来度量点集的适合度，证明了KC是一个m估计量。KC也等同于熵度量。

基于KC的配准可以被认为是一个健壮的、多重连接的ICP。它有一个内置的平滑机制，这使得它在处理噪音和异常值损坏的数据集时非常重要。实验证明，该算法在收敛性、鲁棒性和抗噪性方面优于ICP算法，在配准精度方面也优于EM-ICP算法。

核函数选择是一个有趣的方向。内核的选择决定了要使用的底层健壮函数。我们把它留给未来的研究。