（二）SIFT Matching by Context Exposed（上下文匹配）

1、摘要

①研究背景：本文调查了如何通过利用匹配上下文信息来提高局部图像描述符匹配的方法。文中确定了两个主要的上下文，分别来自描述符空间和关键点空间。前者通常用于设计实际的匹配策略，而后者用于根据局部空间一致性过滤匹配。
②创新方法：在此基础上，提出了一种新的匹配策略和一种新颖的局部空间过滤器，分别命名为blob匹配和Delaunay三角匹配。blob匹配通过合并多种策略，包括基于排名的预过滤以及多对多和对称匹配，提供了一个通用的匹配框架，从而在每个单独的策略上实现了全局改进。DTM在Delaunay三角形的收缩和扩展之间交替进行，以确定和调整关键点邻域的一致性。
③实验结果：实验评估表明，DTM在匹配准确性和稳健性方面与最先进的方法相当或更好。

2、介绍

①研究极限：目前，当匹配过程不依赖于源图像提供的上下文信息时，关键点提取过程以及用于建立对应关系的相关局部图像描述符的计算已经达到了它们的极限。换句话说，这句话暗示了在匹配过程中，提取关键点和计算局部图像描述符所能达到的性能上限已经被实现，并且难以进一步提升。
②本文讨论两种上下文信息匹配：
（1）基于描述子空间：相互最近邻（NN）和最近邻比（NNR）

1. 相互最近邻（NN）：考虑描述符空间中的相互关系

   • 相互最近邻方法是一种简单而直接的匹配方法。给定一个特征描述符，它在另一幅图像中的最近邻（即具有最小距离的特征描述符）被认为是其匹配点。
   • 通过在两幅图像之间进行双向匹配（即在每个图像中找到另一个图像中的最近邻），可以获得一组候选匹配点对。

2. 最近邻比（NNR）：考虑描述符空间中的内部关系。

   • 最近邻比方法是相互最近邻的改进版本，旨在减少错误匹配。
   • 对于给定的特征描述符，首先找到其在另一幅图像中的最近邻和次近邻。然后，通过计算最近邻距离与次近邻距离的比值来评估匹配的质量。
   • 如果最近邻距离与次近邻距离之比小于某个阈值（通常为0.8或0.7），则将该匹配保留为有效匹配。否则，该匹配将被丢弃。

补充：在图像匹配中，模型约束是一种常见的约束形式，通常建立在平面场景和极线几何等原理之上。这些约束可以通过随机抽样一致性（RANSAC）等方法来实现。在这种约束下，匹配过程会考虑到整个图像空间中的关键点分布，并通过识别和拟合模型来确定有效的匹配。

具体来说，模型约束的实现通常包括以下步骤：

随机抽样一致性（RANSAC）：RANSAC是一种常用的模型拟合方法，它通过随机选择一组数据子集，并使用这些子集来估计模型参数。然后，通过将所有数据点与估计的模型进行比较，识别出符合模型的内点集合。这个过程可以重复执行多次，以找到最佳的模型参数估计。

模型匹配：一旦模型参数被确定，就可以将模型应用于图像匹配过程中。例如，在平面场景中，可以使用已知的平面参数来确定图像中的匹配点。在极线几何中，可以使用极线约束来确定匹配点的候选集合。

后过滤步骤：模型约束通常作为整个匹配流程的最终步骤，在匹配完成后对结果进行进一步筛选和优化。这些后过滤步骤可以根据应用的特定需求进行调整，以确保最终的匹配结果符合预期的模型约束。

尽管模型约束在许多情况下都非常有效，但在处理移动或可变形物体等情况时可能会存在一定局限性。这是因为这些情况下，单个刚性结构的约束不再适用，而需要更加灵活和自适应的匹配方法来处理。因此，在这些情况下，模型约束可能会违反，导致匹配结果不够准确或鲁棒。

（2）本文主要贡献：
**①描述符空间：**描述了在图像匹配过程中对描述符空间上下文进行探索和增强的过程。在这个过程中，首先使用了一对一的最近邻（NN）和最近邻比（NNR）作为基本的贪婪匹配策略。然后，研究人员尝试了几种潜在的增强方法，这些方法包括基于排名的过滤、多对多匹配和对称匹配等。这些方法被广泛地组合和评估，以确定哪种组合方式能够在匹配过程中取得最佳的结果。

最终，研究人员将所有最佳的增强方法综合起来，形成了一种整体的匹配策略，被称为"Blob匹配。实验证明，Blob匹配策略在正确的对应方面比单独使用每个基于单一匹配策略的方法都要好。这意味着通过综合利用不同的增强方法，可以获得更好的匹配结果，从而提高图像匹配的准确性和鲁棒性。

②关键点空间：介绍了一种名为Delaunay三角匹配（DTM）的新型局部空间滤波器，用于处理关键点的空间上下文。DTM利用了关键点周围的局部邻域的一致性，以贪婪地关联匹配。这里所说的"邻域"是基于源图像上的Delaunay三角剖分得到的，这意味着它考虑了关键点周围的几何结构和相对位置。

DTM的优势在于它能够有效地利用关键点的局部空间结构进行匹配，从而提高匹配的准确性和鲁棒性。

③基于上下文的图像匹配基准评估：设计了一个新的评估，旨在比较最先进的空间匹配策略，在不同的关键点检测器和最新描述符在平面和非平面场景上的行为。

3、相关工作：

①检测器介绍：SIFT是一个众所周知的类似斑点的DoG多尺度检测器，而HarrisZ是一个仿射多尺度角点检测器。基于Harris角点计算的尺度增强梯度导数，HarrisZ使用自适应滤波器响应和粗糙边缘掩模来选择关键点。在最近的图像匹配挑战中[38]，基于HarrisZ角点构建的匹配流程比其他基于DoG（即SIFT）关键点的检测器提供了更好的结果。

补充：
HarrisZ 是一个用于检测图像中的仿射多尺度角点的算法。它是基于经典的 Harris 角点检测算法的改进版本。HarrisZ 算法在计算 Harris 角点时引入了尺度增强梯度导数。这意味着它不仅考虑了梯度的大小，还考虑了梯度的方向和变化率。这样可以更准确地确定角点的位置，并使得检测到的角点具有更好的尺度不变性。

除此之外，HarrisZ 还使用了自适应滤波器响应和粗糙边缘掩模来选择关键点。这意味着它会根据图像的局部特征来动态地调整其响应，以确保只选择具有较高对比度和清晰度的角点。同时，它还会考虑图像中可能存在的边缘，以避免在边缘附近选择不必要的角点。（目前最新已经到2020年的HarrisZ+了）

②局部描述符介绍：局部图像描述符可以分为手工制作和数据驱动。流行的手工制作SIFT描述符基于梯度方向直方图。在数据驱动描述符中，由于现代GPU硬件的能力和大型训练数据集的可用性[4]，[14]–[16]，深度描述符如今优于其他任何描述符[3]，[4]，[7]。三元损失[10]，硬负采样[11]，二阶相似度[13]，几何约束集成[12]以及联合检测器-描述符优化[9]，[27]，[28]，[30]等技术被用于获得最先进的结果。
其中手工制作描述符RootSIFT [5]和双平方根转移梯度局部方向直方图（RootsGLOH2）[39]。RootSIFT通过用Hellinger距离替换欧氏距离来改进SIFT，并且除了RootSIFT外，RootsGLOH2还能更好地处理补丁方向估计。RootsGLOH2已被证明是当前最佳的手工制作描述符之一。

③匹配过程：匹配通过在描述符空间中对相似性进行成对检查来进行分配，并且可以选择考虑图像中的关键点位移。最常见的流水线使用相互NN或NNR匹配，然后是RANSAC。
基于空间约束的对应关系过滤是一个广泛的研究课题，场景模型可以提供有效的约束，例如平面和极线几何。但是基于RANSAC[20]–[24]的稳健模型回归策略在违反刚性场景的假设时可能会受到限制，例如在移动和可变形物体的情况下[26]，除非处理多个模型[48]。

④匹配对过滤方式：（1）早期已考虑到空间过滤的例子是拓扑过滤[49]，它检查了在图像之间匹配的关键点的相对位置。更好的过滤方法考虑了在定义匹配对的关键点周围的局部一致性。
（2）判断匹配点局部邻域内是否有其他关键点的匹配。在匹配过程中，可以定义一个固定的圆形区域，作为每个关键点周围的局部邻域。然后，通过检查两个关键点的邻域内是否存在一定数量的其他匹配关键点，来衡量这两个关键点之间的一致性。如果两个关键点都有足够多的其他匹配关键点落入它们的邻域内，那么这对关键点之间的匹配就被认为是一致的。

4、BLOB匹配

①原理：Blob匹配主要是通过描述符的空间上下文匹配来过滤匹配。
补充：
（1）互相最近邻（SmNN）是一种匹配策略，它在最近邻的基础上进一步要求两个图像中的匹配都是最佳的。具体来说，对于矩阵D中的每一个元素，SmNN会选择行和列中同时具有最小值的元素作为匹配。换句话说，它要求选定的匹配在两个图像中都是最佳的，而不仅仅是在其中一个图像中最佳。

举个例子，假设有两幅图像A和B，它们的描述子之间的距离矩阵为D。对于每一个元素Dij，SmNN会找到行i中的最小值和列j中的最小值，然后选择这两个最小值中的最小值作为最终匹配。是最严格的一个
（2）NN（最近邻）：NN仅要求在距离矩阵中找到每行的最小值（或每列的最小值），并将其作为匹配。换句话说，NN只关注单个图像中的最佳匹配。
（3）gNN，或者称为贪婪最近邻（greedy nearest neighbor），是一种基于贪婪策略的匹配方法。在gNN中，对于距离矩阵中的每个条目，都会根据贪婪的原则将其添加到匹配集合中。具体来说，对于每个距离条目，如果它的行和列索引没有出现在已选择的匹配中，那么它将被添加到匹配集合中。

gNN的主要特点是它不要求匹配在两个图像中都是最佳的，而是根据每个距离条目的贪婪原则进行选择。因此，与SmNN相比，gNN的要求更加宽松，可能会导致一些次优的匹配被选择。是最宽松的一个