Consensus-Guided Correspondence Denoising 2021

核心思想：通过一种从粗到精的方式得到内点，当outlier高达90%的时候仍然可以得到很好的结果

 

整体pipeline：

    

 

输入的是两张图的匹配对，类似learning good feature match 输出的是这些匹配对的score，直接得到inlier和outlier

 

核心部分是pruning block模块。下边具体介绍

 

一个Pruning Block：

   1. 输入N*4的匹配矩阵然后通过resnet将特征升为N * 128（我的理解这里应该是使用1*1的卷积）

   2.生成局部邻接矩阵图，V为图中的顶点，表示每个匹配特征，另一个参数表示相连的边，

        边的计算方式为：

  3.根据上述生成的邻接graph进行graph卷积运算，这里作者使用了环状卷积（其实就是分组卷积），因为不同的邻域理论上应该

    使用不同的权重进行区分，因此将其进行分组（根据距离又近到远进行分组卷积）：

4.上述生成N*128的特征，这个特征中融合了邻域信息，然后通过mlp生成N*1的score输出

 

5.然后融入global属性特征，上述生成的score通过：，表示i节点和j节点之间的相似度（边），也是临接表

6.使用上述邻接表和z～直接灌入gcn模块进行全局关联，最终生成N*1的score层。

 

上述是一个pruning，输出score之后将得分较低的匹配直接归属成outlier，这样剩下N`的匹配，继续输入下一个Pruning Block模块。这样就

实现了由粗到精的过程，循环迭代k次。

 

然后使用inlier评估出E矩阵：，生成E矩阵之后，再次使用原始的所有匹配进行verify，得到最终的inlier点（防止过度删除）

 

最终的loss：

同样第一项是交叉熵损失（0-1分布），第二项是几何损失。

 

结果：