基于深度学习的图像匹配基础知识

按照 网络类型：度量学习（metric learning）和描述子学习（local image discriptor）。
按照 网络结构：pairwise的siamese结构、triplet的three branch结构，以及引入尺度信息的central-surround结构（此结构往往在baseline中使用进一步提升结果）。
按照 网络输出：单个概率值（pairwise similarity）、特征向量(feature embedding)。
按照 损失函数：损失函数可以是对比损失函数、交叉熵损失函数、triplet loss、hinge loss等等。此外损失函数可以带有隐式的困难样本挖掘，例如pn-net中的softpn等，也可以是显示的困难挖掘等等。但是困难挖掘就一定好吗？也不一定，可能导致过拟合是的结果变差。

一、网络类型

度量学习

Metric Learning预测输入量之间的相对差异（同生成式)，使用Ranking Loss Function（相对应的是交叉熵损失和均方差损失)。
特征提取→特征表示→相似性度量→训练特征提取器，使得相似样本产生相似表示，不同样本产生不同表示；表示形式不重要，重要的是distance。

二、网络结构

Siamese and triplet nets 分别用Pairwise Ranking Loss and Triplet Ranking Loss 来训练，那些losses也可以用在其他setups里。在这两个网络中，使用共享权重相同的网络（具有相同的CNN）来计算pair或triplet中训练样本的表示。

1、Siamese Nets

Pair中两个元素的表示由具有相同权重的两个相同CNN构建（两个CNN具有相同的权重)，即由同一个CNN计算得出。这些网络中的每一个都处理图像并产生representation，比较那些representation并计算它们之间的距离。然后，使用Pairwise Ranking Loss来训练网络，使得相似图像产生的表示之间的距离很小，而非相似图像的表示之间的距离很大。
Pairwise Ranking Loss为$$L(x_0,x_1,y)=y\Vert f(x_0)-f(x_1)\Vert +(1-y)max(0,m-\Vert f(x_0)-f(x_1)\Vert )$$如果$x_0$与$x_1$为匹配对，则$y=1$，反之$y=0$。

一个Pairwise的具体事例见：Learning to Rank w/ Siamese Networks & Pairwise data.

2、Triplet Nets

类似于Siamese Nets，但是Triplet net具有三个分支（三个权重相同的CNN)，通过同时给相应的anchor图像a positive and a negative image，并使用Triplet Ranking Loss来训练模型，这样网络可以更好地分类与anchor图像的相似图像和不同图像。
Triplet Ranking Loss为
$$L(x_a,x_p,x_n)=max(0,m+\Vert f(x_a)-f(x_p)\Vert -\Vert f(x_a)-f(x_n)\Vert )$$

四、损失函数

1、交叉熵损失函数

交叉熵损失Cross-Entropy Loss=Logistic Loss，表示为
$$CE=-\sum _i^C{t}_{i}log(s_i)$$ $t_i$–groundtruth， s i s_i s