D2D: Keypoint Extraction with Describe to Detect Approac(2020)（九）

核心思想：

        本文是一种refine特征提取网络的技术，并且是无监督学习，不需要标注数据方便refine

        任何deep feature网络

解决问题以及出发点：

        一个完整的feaure包含角点信息和描述符信息，直观上讲描述符的维度那么高

       理论上他应该包含了一些关于角点的信息，而且应该也比较鲁棒，那么是否可以

       从描述符中抽取出来detector信息呢？这就是本文出发点。

 

简单review：

        现在的deepfeature基本分为两类：1）先detecror在descriptor

                                                                   2）detector和descriptor同时进行

        本文提出的新的一种方式，先进行descriptor，然后无监督即可从descriptor中分析出detector

 

本文思路：

1. 什么是角点？

            角点应该满足两个性质：

                        1）high absolute saliency，也就是必须包含高度的显著性，这个意思是说应该在纹理丰富的区域。

                        2）high relative saliency，也就是必须在局部具有显著的区分性，这个意思是说局部应该有区别。

            综上所述： 必须满足上述两条。光有丰富的纹理不行，比如相似纹理。光有局部区分也不行，比如墙角没啥纹理信息。

1.  那么怎样提取出来满足上述两个条件呢？

            2.1 首先是absolute saliency

                   想当然，想要看一个向量（descriptor）的信息是否充足，用熵呀，但是熵又需要概率，不好计算，

                    那么用方差代替吧：

                    

                    其中F(x, y)表示的是pixel（x, y）位置的descriptor向量，F帽是均值。向量的平方的期望-向量的均值的平方（方差）

          2.2 其次是high relative salienc

                    在sift中局部邻域区分性用的是像素之间的梯度差：

                    

                       第一项W是权重可以使用卷积核。后边是像素值。u,v是设置一个windows滑动窗口。

                    在本文中使用descriptor：

                    

            2.3 最终descore：

                

        ！！！！！好了 有了loss，然后就可以训练refine了！！！！！！！

 

整个算法流程：

    

 首先输入image 然后获得dense 的descriptor的map，然后抽取detector。

 

结果：对原有网络的提升还是挺明显的