论文阅读笔记《Locality Preserving Matching》

核心思想

  本文提出了一种利用局部几何约束实现图像特征点匹配的方法（LPM）。作者认为对于一对正确匹配点，其局部范围内相邻点之间的结构关系应该是相同的，例如在原图中一个目标特征点$x_i$，其邻域范围内有四其他的个特征点$x_j,j=1,2,3,4$，且这四个特征点与目标特征点之间的距离$d(x_i,x_j)$分别是a,b,c,d，那么该特征点对应的匹配点$y_i$，其邻域范围内应该也包含四个其他特征点对应的匹配点$y_j,j=1,2,3,4$，且匹配点与目标匹配点之间的距离$d(y_i,y_j)$也应该分别是a,b,c,d。
  了解了作者初步想法，下面介绍下实施的过程。首先给定一组候选匹配点 S = { ( x i , y i ) } i = 1 N S=\{(x_i,y_i)\}^N_{i=1} S={(xi​,yi​)}i=1N​，$x_i$和$y_i$分别表示原图中特征点和待匹配图像中对应匹配点的坐标。目标是从$S$中选择出正确匹配的点集$I$，如下式所示

目标函数$C$为

其中$d(\cdot ,\cdot )$用于计算目标特征点与其他特征点之间的距离，可采用欧氏距离。式中的第一项表示原图中目标特征点与其他特征点的距离和待匹配图像中对应匹配点之间的距离之间的差异，第二项是用于抑制误匹配点的数量，$\lambda$是用于调节两项影响的权重系数。
  上述过程都建立在图像只发生刚性变换，特征点之间的空间结构关系不会变化的假设之上的，但在实际情况中匹配图像之间的变换通常是更加复杂的，只有在局部一定范围内可以认为是发生刚性变换，因此作者将计算特征点之间的距离关系的范围从全部特征点压缩到目标特征点邻域范围内的部分特征点，则目标函数如下

其中$N_{x_i}$、$N_{y_i}$分别表示$x_i$和$y_i$对应的邻域范围，本文采用最近邻算法，选取与目标特征点最相邻的$K$个特征点作为其邻域范围。
  但还存在一个问题，上述过程采用的距离函数是欧氏距离，而当图像发生尺度变换等非刚性变换时，欧氏距离这种绝对距离度量方法就不再适用了，因此作者又对距离函数进行了改进

即对于邻域内的点距离固定为0，邻域外的点距离固定为1，则损失函数可写为

其中$p_i=1$表示正确匹配点，$p_i=0$表示错误匹配点，进一步整理可得

则原本的问题转化为得到能够使损失函数$C$取得最小值的$\mathbf{p}$，根据上式可知当$c_i>\lambda$时，$p_i$等于0会让整个损失函数减小，而当$c_i<\lambda$时，$c_i-\lambda$为负数，因此$p_i=1$会让整个损失函数减小。这样一来，优化问题可以采用一个简单的策略得到最优解

则正确匹配点的结果为

由上式可以看出$\lambda$的取值对于正确匹配点的判断十分重要，根据实验本文选择$\lambda =6$。此外在构建邻域时，如果能够在正确匹配点集$I$中构建，将会使距离$c_i$计算过程中只保留正确匹配点，而不受误匹配点的影响，使得判断结果更准确。但正确匹配点集$I$通常是未知的（这不是废话嘛？正确匹配点集$I$就是求解的目标呀），所以作者先以整个点集$S$作为基础，使用上述方法求解出一个初步的正确匹配点集$I_0$，然后在$I_0$的基础上重新构建邻域，再次求解最优的正确匹配点集。按照这个思路，如果采用迭代计算的方法，多次重复求解，不断优化是不是能够进一步提高准确率呢？作者实验发现是这样的，但是效果提升不明显了，因为两次迭代准确率已经很高了，所以就没有迭代更多次数。整个算法的流程如下图

创新点

• 提出一种利用局部匹配点之间关系结构相似性进行特征点匹配的方法

算法评价

  其实本文的想法并不复杂，如果一个点是正确的匹配点，那么其邻域范围内的其他特征点对应的匹配点，应该也在这个点对应匹配点的邻域范围内，说着很绕口，但道理不复杂。一开始用欧氏距离的方法的确是不行的，类似尺度变化这种非刚性的变化，会让特征点之间的欧氏距离发生变化，没法保证匹配的准确性，后面改用新的度量方式能够较好的解决这个问题。而且通过迭代优化的方式，也能够不断提高匹配的准确性，综合起来看该方法通过一种简单的策略，实现了又快又好地特征匹配的功能。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。