GeoDesc: Learning Local Descriptors by Integrating Geometry Constraints(2018)(六)

3.2 Training data generation

    2D correspondence generation.

        使用sfm得到的3dpoint clone，然后返投得到点的匹配关系，使用一种。。。算法优化结果干掉outliers。

    Matching patch generation

        ，输入sift的参数（x,y,si,der）,输出转正的path

 

3.3 Geometric similarity estimation

    定义了两种相似性：image 相似性和path相似性

    Patch similarity

        

    Image similarity

        定义pathch形似度的平均

 

 

总结：这两个相似度其实度量了匹配的难度？比如完全相似的两张图得分接近于1 用于权重分配，

 

3.4 Batch construction

    数据的构造很影响网络的学习能力，在L2-NET中是从整个数据集随机的选取path对，这样的话存在缺点：

           1：真正在进行匹配任务的时候往往是以image pair作为输入的，而不是随机的path

            2: 相似性较高的匹配会使网络迅速收敛而造成欠拟合

    本文选取image pair对中的匹配path作为输入进行训练，并且如上图的d存在很多相似纹理这样增加了网络的难度，防止过拟合

3.5 Loss formulation（structured loss & geometric loss）

 

structure loss：

 

，可以看到对角线上的元素越大越好（同L2-NET）

这里叫做structure loss 是因为惩罚同一张图上的outlier。。。这个loss会造成outlier远离inlier。。。。因为惩罚的是错误匹配到正确匹配的距离

Geometric loss：

    上述loss并不能使正确的匹配更加接近，只会将错误的匹配远离，因此增加几何loss

，这里的S是上述F1F2的结果，ii表示的是对角线元素，也就是正样本，结合上述Spatch正好可以作为权重加入到网络，可以认为是平均化困难样本和容易样本。

 

 

总结：1. 训练过程更像真实的匹配情况

            2. 定义相似度平均化样本，收敛之后更加鲁棒

            3.loss更好

缺点：依赖于sift，速度应该很慢吧？