GMS: Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence

GMS: Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence
GMS：基于网格的运动统计信息，可实现快速，超鲁棒的功能对应
摘要
将平滑度约束合并到特征匹配中可实现超鲁棒匹配。 但是，这样的公式既复杂又缓慢，使其不适用于视频应用。 本文提出了GMS（基于网格的运动统计），一种将运动平滑度封装为区域中一定数量的匹配项的统计似然性的简单方法。 GMS可以将高匹配数转换为高匹配质量。 这提供了实时，超鲁棒的通信系统。 对具有低纹理，模糊和宽基线的视频进行的评估表明，GMS始终优于其他实时匹配器，并且可以通过更复杂，更慢的技术来实现奇偶校验。
1.简介
特征匹配是许多计算机视觉算法的基本输入。因此，其速度，准确性和鲁棒性至关重要。当前，慢速（但可靠）的特征匹配器与快得多（但通常不稳定）的实时解决方案之间存在很大的性能差距。
中心问题在于更强大的特征对应技术中使用的相干约束（相邻像素共享相似的运动）。相干性是一个强大的约束，但稀疏特征缺少定义明确的邻居。这导致基于一致性的特征对应关系[16、42]既计算起来昂贵，实现起来也很复杂。本文提出了GMS（基于网格的运动统计），一种将运动平滑度封装为在区域对之间具有一定数量的特征匹配的统计可能性的方法。我们显示GMS可以快速可靠地区分真假匹配，从而实现图1中的高质量对应。
我们的论文从BF中获得了灵感[16]。 BF强调，特征匹配的明显缺乏不是由于正确的匹配太少，而是由于难以可靠地分离真假匹配。BF证明了使用通过复杂最小化计算的相干性测度实现这种分离的可行性。在实践中，BF运行得很好（尽管速度很慢）。但是，它主要是出于观察和直觉。缺乏理论上的清晰度使得改进变得困难，因为研究人员必须依靠对受许多波动变量影响的图像数据进行经验测试。
我们建议可以将BF和其他类似技术[30、19、42]中使用的复杂平滑度约束简化为一个简单的陈述：运动平滑度会导致对应簇非常不可能随机发生。 因此，可以通过简单地计算它们附近的匹配数来区分真假匹配。 从大数定律中，真假的可划分性随匹配数扩展到无穷大。 数学分析是直接的，但结果可能会发生范式转移。
先前的特征匹配论文[22，35，2，47]假设匹配质量主要随着特征不变性/区分性的提高而扩展。 GMS揭示了新的改进方向； 原始特征数量也会影响质量。 由于查找更多特征比设计新描述子更简单，因此GMS可能为先前难以解决的匹配问题提供简单的解决方案，如图1所示。
总而言之，我们的贡献是：
•将运动平滑度约束转换为用于剔除错误匹配的统计量度。 我们展示了此约束条件可以匹配以前难以处理的场景；
•开发一个可以基于网格的高效得分估算器，该估算器可以并入实时特征匹配器中；
•证明我们的GMS系统明显优于传统的SIFT [22]，SURF [2]和最近的CNN训练的具有标准比率测试的LIFT功能[47]。
1.1。相关工作
有关特征匹配的基础工作旨在增加特征描述子的独特性/不变性并改善定位。示例包括经典作品，例如SIFT [22]，ORB [35]，SURF [2]，A-SIFT [26]，Harris Corners [9]和仿射协变区域检测器[25]。其中许多作品都具有GPU加速[45、40、7]，可实现实时（或接近实时）性能。另外，还有FLANN用于加速特征匹配的作品[14，27，28]。这样的研究仍在进行中，最近的例子是CNN训练的LIFT描述符[47]。这些作品共同构成了我们赖以建立的一组核心技术。
仅依赖描述符的问题是难以区分真假匹配。这样就消除了很大一部分真实匹配，从而限制了错误匹配[16]。 RANSAC [10、41、5、32、6、36、15]可以利用几何信息来缓解此问题。然而，RANSAC本身要求大多数错误匹配要被预先消除，并且不能在所有最邻近匹配的集合中容纳大量错误匹配[17]。
近来，许多技术[30、16、17、19、42、24]已经集中于使用匹配分布约束来分离真假匹配。然而，它们的公式化导致复杂的平滑度约束，这很难理解并且最小化是昂贵的。我们的方法受到这些作品的启发，但是使用了更简单，更容易理解的统计匹配约束。这使得既健壮又高效的匹配成为可能。
更一般而言，我们的工作涉及光流[13，23，4，43，33，21，1，46]，基于点的相干技术[48、18、29]，基于补丁匹配的匹配器[12]使用平滑度来帮助匹配估计。这些技术可能非常强大。但是，它们也更加复杂和昂贵。最后，我们承认来自像AdaBoost [11]这样的学习者的启发，这些学习者将多个弱学习者整合为一个强大的学习者。 GMS通过使用平滑度约束来整合来自多个匹配项的信息以做出高质量决策，从而分享了这一设计理念。

图2.匹配xi的邻域定义为{a，b}，即围绕各个要素的一对小支撑区域。 我们预测，真正匹配的邻域将比错误匹配的邻域拥有更多的支持性匹配。
2.我们的方法
给定从同一3D场景的不同视图拍摄的一对图像，特征对应关系意味着一个图像中的像素（特征点）被标识为另一图像中的相同点。如果运动平滑，则相邻像素和特征会一起移动。这使我们可以做出以下假设：
假设1.运动平滑性导致真实匹配周围的（小）邻域查看相同的3D位置。同样，错误匹配周围的邻域可查看几何上不同的3D位置。
这里的邻域定义为围绕图2所示的各个图像特征的一对区域{a，b}。
假设1表示真正匹配的邻域，查看相同的3D区域并因此在两个图像之间共享许多相似的特征。这导致邻域里有许多支持匹配。相反，错误匹配邻域可映射不同的3D区域，并且具有更少的相似特征。这减少了匹配支持。我们将这种直觉封装到一个称为GMS的统计框架中，该框架可靠地区分对错。第三部分介绍了用于快速邻域分数计算的网格算法，而第4节给出了结果和比较。
2.1。 表示
图像对{Ia，Ib}分别具有{N，M}个特征。 X = {x1，x2，…，xi，…，xN}是从Ia到Ib的所有最近邻居特征匹配项的集合。 X具有基数| X | =N。我们的目标是通过分析每个匹配的本地支持将X分为真假匹配集。
图2中所示的匹配邻域表示法如下：{Ia，Ib}中的各个区域表示为{a，b}，每个区域分别具有{n，m}个附加特征（不包括原始匹配对）。 Xi⊆X是匹配项xi的区域{a，b}之间的匹配项的子集。 Si是邻域支持的量度：

其中-1从总和中删除原始匹配项。
2.2。 基本统计限制
由于区域较小，因此我们将考虑范围限制在理想的正确和错误区域对，而忽略部分相似的位置。 令fa为区域a中的n个支持特征之一。 给定fa具有正确匹配的概率t，我们的目标是在{a，b}观察相同/不同位置的情况下得出与区域{a，b}的匹配达成率。 Tab1总结了常用的符号和
事件，而Fig3说明了fa的事件空间。
为了使问题易于解决，我们进行了假设
假设2：如果fa匹配错误，则其最近的邻居匹配可以位于M个可能的位置中的任何一个。
出现假设2的原因是，一般来说，没有任何理由会导致某个特征的最近邻错误偏爱任何图像区域。 假设2给出

其中m是区域b中的特征数量，β是增加的因子，以适应由重复的结构（如一行窗口）引起的对假设2的违反。

图3.特征fa的事件空间。
fa的最近邻居匹配项位于区域b（事件fba）中或不在区域中（事件fba~）。匹配为true（事件fta）或false（事件ffa）。
（i）在给定Tab的情况下，fba是事件fta和一些ffa事件的联合。
（ii）给定Fab，fba必然是事件ffa的子集。

假设pt = p（f ba | T ab）是给定{a，b}查看相同位置时，特征fa最接近的邻居位于区域b中的概率。 从而，

说明：图3（i）显示事件fba仅在fa正确匹配或错误匹配但偶然地降落在区域b中时发生。 这是公式（3）的第一行。 第二行来自Baye的规则。 由于特征是预先匹配的，因此p（fta），p（ffa）与Tab无关。 由于假设2，p（fba | ffa）也独立于Tab。 删除条件Tab并用Tab1和方程式（2）替换值即可得出最终表达式。