2018ECCV之face recognition：Face Recognition with Contrastive Convolution

Face Recognition with Contrastive Convolution
人脸识别：
一般分为两类，一类是将给定的人脸识别为特定的身份，另一类是确定一对人脸是否具有相同的身份的人脸验证。
当前的问题及概述：
目前使用CNN进行人脸识别时，都是将一对待比较的人脸单独输入CNN进行特征提取，对于这两个面部应用了相同的内核，因此无论与谁比较，面部的表示都是固定不变的，然而，对于我们人类来说，当与图1所示的不同人比较时，我们通常会关注面部的不同特征。

(a)当我们将a与眼睛较小的B1进行比较时，我们的注意力会被a眼睛周围的区域所吸引
(b)在比较A和B2的圆脸时，我们更注重A的轮廓
受此启发，我们提出了一种新颖的CNN结构，我们称之为对比卷积，它特别关注两个面之间的不同特征来进行比较。
模型及loss：
本文提出的对比特征主要描述由本文提出的对比卷积提取出的两个人脸之间的明显特征。

该框架由一个主干CNN和一个内核生成器组成，形成一个连续的架构。首先，采用two-stream网络提取A、B人脸特征FA、FB，权重共享。然后，由多个子生成器组成的内核生成器G分别为A和B生成个性化的内核，突出人脸相对于平均人脸的突出特征，并在此基础上实现对比内核，即为|KA−KB|，关注两者之间的对比特征。最后，利用这些对比核分别通过卷积运算提取A和B的对比特征，进行最终的相似度计算。
2.1Kernel generator
首先输入的话是人脸A、B和标签LAB，其中LAB是指AB为同一人时LAB=1，反之为0。经过各自的特征提取，得到特征FA、FB：

然后生成各自的个性化内核，以A为例，内核生成器G以特征映射FA为输入，输出一组个性化的内核KA，生成的kernels KA希望能够突出A的这些固有的、显著的特征，这是构建对比卷积核的基础：

内核生成器采用分层结构设计，允许个性化内核捕获不同尺度的人脸特征，从而进一步影响对比内核的KAB。每个层有一个子生成器，由于不同的层通常具有不同尺度的feature map，所以得到的kernel的感受野不同，共有T个生成器：

第i层的特征映射表示为：，是对第(i - 1)层的特征映射进行卷积或全连通运算得到，在每一层，构建子生成器gi，生成一组内核：

每个内核kij A都被期望描述人脸图像A的局部组件的特征，通过使用局部patch作为输入来实现：

其中，R表示裁剪操作，本实验中的gi只包含一个全连接层。一组个性化的内核可以从所有的子生成器中得到：

B同理，最后，将两张人脸图像的个性化内核差异作为对比内核，尝试只关注两张人脸之间的鲜明特征，并减去共性，得到如下公式:

总结一下：该部分是文章的核心，核生成分两个部分，第一个是，得到不同的feature map后，在经过不同的内核生成器，生成不同感受野的内核KiNA，比如K1j，K2j，第二个是，将第i层的特征映射记为Si，裁剪Si取patch pij，比如第一个尺寸feature map的第2的patch，就是p12，然后通过第i个内核生成器，生成KNjA，比如通过第一个内核生成器，生成的内核就是K11，K12等，然后就公式7就是所有内核的集合
2.2Contrastive Convolution
本文提出的对比卷积与传统卷积非常相似，不同之处是对比卷积中使用的内核是在测试过程中根据被比较的不同对而动态生成的，而传统卷积中使用的内核是通过大规模数据学习并经过训练后固定的。
在对A、B两张人脸图像进行对比时，将FA、FB与对比的KAB内核进行卷积，结果如下：

其中叉乘表示相关操作，然后计算两个对比特征的相似度及其平均值：


2.3Overall Objective
通过上面的运算，同一个人SAB=1，不同的人SAB=0，采用二元交叉熵最大化相同人脸对的相似度，最小化不同人脸对的相似度：

个性化内核还期望捕捉到人脸的固有特征，即同一个人的个性化人脸图像即使具有不同的姿态、光照或表情，也应该具有高度的相似性，从而形成以下另一种交叉熵损失：

最终的objective function：

实验：
数据集:
LFW和IJB-A
LFW：13233张来自5749种不同类型的人脸图像，这些图像在姿势、表情和光照方面有很大的变化。
IJB-A：包含5712张图片和2085个视频，来自500个拍摄于野外环境的对象。由于头部姿态、光照、表情和分辨率的极端变化，IJB-A被认为是目前最具挑战性的验证和识别数据集。

消融实验（G数量带来的变化）：

消融实验（CNN层数带来的变化）：

与其他方法比较:
LFW数据集：

IJB-A数据集

普通CNN的可视化结果可以看到只关注眼睛部位，但对比CNN关注了每个不同人脸的各个差异较大的部分：