ECCV2020 作者(Inria+ENS计算机科学系+DEEPMIND)
Background
先检测再匹配:SIFT在光照变化的情况下受限;基于学习的对光照变化改进很多,但是对于相机视点问题还不够,尤其是使用局部特征的方法,外观变化大时漏检
对图像进行稠密的特征提取可以克服上述问题,但是属于内存密集型的(内存占用),定位不够准确(分辨率的问题,低分辨率下一个点对应原图的一个格子)
Motivation
NCNet:存储量大、推理时间长、对应点的定位准确度差
Idea
原来NCNet使用的全部可能对应点,改为使用稀疏的correlation(子流形稀疏卷积)
使用一个两阶段重定位过程(guided search)
Method
![](https://i-blog.csdnimg.cn/blog_migrate/eb17e267a2a1c797e26d035f401bb7dd.png)
Stage 1:
稠密特征提取
特征匹配:相比于原始NCNet计算了所有像素的correlation并存储,本文为每个像素选取TOP K个匹配对,为了让得到的correlation对输入图像的顺序具有不变性,得到的稀疏correlation有A-B和B-A两个单边相加(H×W×H×W->H×W×2×K)是对取最高得分和取全部匹配的一个折中,提高速度的同时保持了低的存储量。
![](https://i-blog.csdnimg.cn/blog_migrate/9bbc11ae23cede53b49bec72a38e35a2.png)
过滤correlation map:通过一个稀疏的转置不变CNN网络(由两个4D的CNN组成),转置(改变特征的前两维和后两维顺序),使得输出不受输入图片顺序影响
![](https://i-blog.csdnimg.cn/blog_migrate/7ec992bd3041c19d9240d748b1f3f810.png)
![](https://i-blog.csdnimg.cn/blog_migrate/834949dc44306903256be2a5b23c8f7c.png)
获得匹配对:取correlation最大值
![](https://i-blog.csdnimg.cn/blog_migrate/30cbc7ea0c0e4b94d00e08800cad349f.png)
Stage2:重定位(hard relocalisation+softrelocalisation)
![](https://i-blog.csdnimg.cn/blog_migrate/7a21ae9e6a795f6072b8f30fcba4bc1e.png)
通过Sparse-NCNet在H×W得到粗匹配,指导获得2倍分辨率下的准确定位。
讲输入图像上采样得到2倍分辨率下的图像,输入到CNN获得特征图,下采样得到原始尺寸的特征图,输入得到stage1的结果。找到2倍分辨率中对应的匹配位置
Hard-relocalisation:((I,j),(k,l))->((2i,2j),(2k,2l)),在2倍分辨率图中找到对应点周围的局部块2×2
![](https://i-blog.csdnimg.cn/blog_migrate/9920c2952d3c182fac3fbe6b663a85a9.png)
计算两图中局部块的匹配,找到最大的点,得到偏移量
![](https://i-blog.csdnimg.cn/blog_migrate/63abd38ad1aa94462a128b8c74fd184d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af028a594c4c93359f2c62d6539cee72.png)
soft-relocalisation:形成新的局部块3×3,通过对块内的匹配计算加权匹配,得到新的偏移量,算出最终匹配
![](https://i-blog.csdnimg.cn/blog_migrate/9d8c3261a420b27f2e499c2b0e1872bc.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c3f19cd982a0b9867b969fbcc07020b7.png)
Experiment
在数据集HPatches和InLOC以及Aachen Day-Night上测试
![](https://i-blog.csdnimg.cn/blog_migrate/b6625ebcb3ce8e20dd9bf979ed7d4dee.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c58b4022c52b1c5ded85eacd69077c2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e147fa1174e58dc63086d68d7f3aca0.png)