Learning a Similarity Metric Discriminatively with Application to Face Verification

Paper : Learning a Similarity Metric Discriminatively, with Application to Face Verification
Code :

摘要

Yann LeCun 提出的使用CNN进行孪生网络中子网络的特征提取，进行人脸识别的任务。作者认为，相比于其他的算法，Contrastive Loss+CNN的结构适合以下几种任务

• 类别较多，单一类别下训练样本较少的任务
• 训练时不知道具体的类别数，只知道总类别的某个子集

个人认为，这篇文章主要贡献有以下几点

• 对Contrastive Loss的理论分析，证明使用Contrastive Loss得到的解符合任务优化目标
• 将CNN引入到孪生神经网络中，利用CNN的几何不变性进行特征提取

本文将重点放在证明的部分。

Energy-based model

相比于概率模型，EBM使用未正则化过的能量值进行评估。EBM的优势在于不使用正则化可以节省使我们远离概率模型中难以处理的partition function，并且EBM也可以让我们在设计网络结构时更加的自由。不过相对于概率模型，对于人脸识别任务，EBM需要考虑的更多一点。形式化的说，对于样本对 $X_1,X_2$ ，EBM输出能量值 $E_W(X_1,X_2)$ 来评估 $X_1,X_2$ 之间的相似度。我们希望 $E_W(X_1,X_2)$ 在 $X_1,X_2$ 属于相同的人脸时尽可能小，不同时尽可能大。在训练时，如果我们只在 $X_1,X_2$ 为相同的人脸对上训练参数 $W$，那么可能特征提取函数 $G_W(X)$ 会学到一个固定的输出。因此EBM还需要在属于不同人脸的数据对上训练。而对于概率模型，这个问题不存在，这是因为让特定对的概率值高，在正则化的情况下自动让其他组合的概率值低。

人脸识别使用的孪生神经网络与前一篇blog中的结构基本上一样，除了换成CNN

其中 $X_1,X_2$ 为孪生神经网络的两个输入，$Y$ 表示 $X_1,X_2$ 是否属于同一张人脸，$Y=0$ 表示相同，$Y=1$ 表示不同。

Contrastive Loss & Desirable Condition

$E_W(X_1,X_2)$ 衡量了 $X_1,X_2$ 之间的相容性，定义如下

$$E_W(X_1,X_2)=||G_W(X_1)-G_W(X_2)||$$

使用 $X_1,X_2$ 表示任一 $Y=0$ 的数据对，使用 $X_1,X_2^{\prime }$ 表示任一 $Y=1$ 的数据对，我们希望模型满足条件1

• $$\exists m>0,E_W(X_1,X_2)+m<E_W(X_1,X_2^{\prime })$$

为了简化表示，令 $E_W^G=E_W(X_1,X_2)$ ，$E_W^I=E_W(X_1,X_2^{\prime })$

作者为了实现条件1，设计了如下的损失函数形式

$$\begin{gathered} \mathcal{L}(W)=\sum \mathcal{L}(W,(Y,X_1,X_2{)}^i) \\ \mathcal{L}(W,(Y,X_1,X_2{)}^i)=(1-Y_i){\mathcal{L}}_G(E_W(X_1,X_2{)}^i)+Y_i{\mathcal{L}}_I(E_W(X_1,X_2{)}^i) \end{gathered}$$

其中 ${\mathcal{L}}_G,{\mathcal{L}}_I$ 分别是将 Genuine 和 Impostor 的数据对构成的能量值 $E_W\dots \dots G,E_W^I$ 映射到相同损失坐标下的损失函数。一种简单的方式是将 $L_G$ 设计成单调上升 $L_I$ 设计成单调下降的函数。考虑 $\mathcal{L}(W)$ 的简化形式，即只有一个相同人脸的数据对和一个不同人脸的数据对的情况

$$H(E_W^G,E_W^I)=L_G(E_W^G)+L_I(E_W^I)$$

我们做出两个假设：1）$H(x,y)$ 是凸的，2）存在 $W$ 满足条件1。那么以下关于 $H$ 的条件2对于所有 $E_W^G,E_W^I$ 都成立：

• $H(E_W^G,E_W^I)$ 的最小值落在 $E_W^G+m<E_W^I$ 的半平面内。

这保证了当我们最小化 $H$ 的时候，参数会被优化到满足条件1的位置上。对于 $H$ 的最小值落在无穷远的情况，如下图所示

以下条件3是充分的。

• $H(E_W^G,E_W^I)$ 在边界 $E_W^G+m=E_W^I$ 上梯度的负数与 $[-1,1]$ 的点乘是正数。

条件3如果成立的情况下，我们可以证明定理1

• 假设 $H(E_W^G,E_W^I)$ 在坐标系 $E_W^G,E_W^I$ 上是凸面的，在无穷远处有最小值，假定存在 $W$ 满足条件1，如果条件3成立，那么相对于 $W$ 最小化 $H$ 可以找到 $W$ 满足条件1

考虑 $E_W^G,E_W^I$ 组成的第一象限，边界 $H_W^G+m=E_W^I$ 的两个半平面分别用 $H{P}_1,H{P}_2$ 来表示，使用 $R$ 表示对于所有可能的 $W$ 的取值，$E_W^G,E_W^I$ 的对应区域，根据假定，存在至少一点 $W$ 满足条件1，因此区域 $R$ 与 $H{P}_1$ 存在交集，为了证明定理，我们需要证明 $R$ 与 $H{P}_1$ 的交集中至少存在一点损失值要小于 $R$ 与 $H{P}_2$ 的交集。

假设在分界线 $E_W^G+m=E_W^I$ 上，$E_G^{\ast }$ 满足

$$E_G^{\ast }=\arg \min H(E_W^G,E_W^G+m)$$

根据条件3，所有边界线上梯度的负数都指向 $H{P}_1$ 内，根据凸面性质，因此有

$$\forall E_W^G+m>E_W^I,H(E_G^{\ast },E_G^{\ast }+m)\le H(E_W^G,E_W^G+m)$$

同时，使用泰勒公式的一阶展开形式进行估计，存在小量 $ϵ$ ，有

$$H(E_G^{\ast }-ϵ,E_G^{\ast }+m+ϵ)\le H(E_G^{\ast },E_G^{\ast }+m)$$

因此，定理得证。

当 $L_G$ 是一个单调上升的函数， $L_I$ 是一个单调下降的函数时，条件3成立。因此损失函数设计如下

$$\mathcal{L}(W,Y,X_1,X_2)=(1-Y)\frac{2}{Q}(E_W{)}^2+Y\cdot 2Q{e}^{-\frac{2.77}{Q}{E}_W}$$

其中，常数 $Q$ 被定为 $E_W$ 的上界。

这种损失函数的定义符合单增单降和凸性，因此使用该损失函数可以是计算机找到满足条件1的 $W$。算法中的常数是为了保证在边界线上的梯度的相反方向总是指向区域 $R$ 的内部，避免陷入 梯度指向 $R$ 外部的边界点上的局部最优情况。还有一点，不要使用 $L_2$ 正则代替能量定义中的 $L_1$ 正则，避免在能量接近于0时候的梯度消失问题。

测试

使用与之前的一篇文章 blog 相同的处理方法来衡量一张人脸与召回集中的一张人脸是同一张人脸的概率。模型在3个数据集上进行训练，并在其中的两个数据集上进行了测试。模型的表现使用据真率和受伪率同时衡量。

总结

论文中的证明部分还是非常有意思的，但是个人感觉存在两个问题

• 构造的损失函数的复杂形势的过程没有写出来，尽管符合损失的假设条件但是不知道意义何在
• 面向开头提出的两个问题，论文中没有过多的去强调模型的优势，在实验部分只是简单说了一下我们在小的训练集上得到了较好的结果