Efficient Neighbourhood Consensus Networks via Submanifold Sparse Convolutions

本文的目的是输入一个image pair 然后得到他们的匹配

 

内存消耗大，推理时间长，对应关系局部性差。我们提出的修改可以减少10倍以上的内存占用和执行时间，并且效果相当。这是通过对包含试探性匹配的相关张量进行稀疏化，然后使用子流形稀疏卷积对其进行4D CNN后续处理来实现的。通过以更高的分辨率处理输入图像（这是可能的，因为减少了内存占用），以及通过一个新的两级对应重定位模块，定位精度显著提高。提出的稀疏NCNet方法在HPatches序列和InLoc视觉定位基准上获得了最新的结果，在Aachen昼夜基准上获得了竞争性的结果。

 

本文采用了稠密特征提取方法。特别是，我们建立在最近的邻域共识网络（NCNet）[43]的基础上，该网络允许联合可训练的特征提取、匹配和匹配过滤，以直接输出一组强的（主要是）正确的对应关系。我们提出的稀疏NCNet方法试图克服原始NCNet公式的局限性，即：内存消耗大、执行时间长和局部对应性差。

 

The Neighbourhood Consensus Network [43] is a method for feature extraction, matching and match filtering.

原始的NC-net 的核心过程：首先输入两张图->dense feature提取->4D CNN直接回归match->邻域一致性约束refine match->最终match

但是有三个限制：1》内存消耗过大 2》慢3〉效果差

 

为了解决之前dense match的问题，首先将feature进行knn match 然后得到top k的最近邻，之后构造4D匹配空间的时候将没在topk的地方设置成0，这样其实就是一个sparse的

 

 

这个是为了使输入的是A B图片对或者B A图片对

 

然后tensor个数：此张量使用稀疏表示，其中只需要存储非零元素。注意，存储的元素数量最多为h×w×K×2

 

然后由于原始输出图像的分辨率是H W 现在feature map的分辨率是h w，因此可能在进行亚像素级别的定位的时候误差过大，因此使用。。。。产生一个d项目=，。。。。

 

 

最后。。。。。。。。