度量学习

《Discriminative Deep Metric Learning for Face Verification in the Wild》阅读记录

简介

度量学习（Metric Learning）也就是常说的相似度学习。如果需要计算两张图片之间的相似度，如何度量图片之间的相似度使得不同类别的图片相似度小而相同类别的图片相似度大（maximize the inter-class variations and minimize the intra-class variations）就是度量学习的目标。
例如如果我们的目标是识别人脸，那么就需要构建一个距离函数去强化合适的特征（如发色，脸型等）；而如果我们的目标是识别姿势，那么就需要构建一个捕获姿势相似度的距离函数。为了处理各种各样的特征相似度，我们可以在特定的任务通过选择合适的特征并手动构建距离函数。然而这种方法会需要很大的人工投入，也可能对数据的改变非常不鲁棒。度量学习作为一个理想的替代，可以根据不同的任务来自主学习出针对某个特定任务的度量距离函数。

conventional Mahalanobis distance metric learning

传统马氏距离度量学习是从训练集$X$中寻找矩阵$M\in \mathbb R^{d\times d}$，计算两个样本$x_1$,$x_2$之间的马氏距离：

$$d_M (x_i , x_j ) = \sqrt {(x_i − x_j ) ^T M(x_i − x_j )}$$
由于 $M$为对称半正定矩阵，因此可以分解为：
$$M=W^TW$$
其中 $W\in \mathbb R^{p\times d},p<d$ 。那么：
$$d_M (x_i , x_j ) = \sqrt {(x_i − x_j ) ^TW^TW (x_i − x_j )}=\Vert Wx_i-Wx_j\Vert_2$$
根据上面公式可知传统的马氏距离度量学习是通过寻找一个线性转换将每一个样本 $x_i$投影到低维子空间中（因为 $p<d$），投影后样本间的欧式距离即为原空间中的马氏距离。

discriminative deep metric learning (DDML)

由于传统方法用到的线性变换不能够捕捉面部图片所依赖的非线性流形（nonlinear manifold）

线性流型
几何空间的直线或平面具有性质：集合中任意2点生成的直线一定包含在这个集合里，即直线和平面是平和直的。把平和直的概念推广到高维就能得到线性流形的概念。

为了解决传统方法的限制，论文提到将样本投影到高维特征空间中，在高维空间中进行距离度量。