2019 IEEE
MyeongAh Cho; Tae-young Chung; Taeoh Kim; Sangyoun Lee
一、简介
从人脸图像中提取的局部特征包含人脸各个组成部分的信息。对于两个不同的域特征,使用局部特征之间的关系比直接使用它更具有域不变性。除了这些关系,位置信息,如从嘴唇到下巴或眼睛到眼睛的距离,也提供了域不变的信息。
提出了一个关系模块,用来减少模态差异。该模块由关系层和坐标层组成,关系层隐式捕获关系,坐标层对位置信息进行建模。
提出了考虑类内分布的带条件边际的三重损失。
二、模型
特征提取(ConvNet):
输入一张人脸图像(VIS人脸图像或NIR人脸图像),使用LightCNN网络提取特征,提取出的特征图是关系模块的输入。
LightCNN网络在MS-Celebe-1M数据集上预先训练。
该网络的输出是N×N的特征图(N=8)。这些N×N个数的特征向量代表了人脸的局部斑块,如嘴唇、眼睛和鼻子,它们是人脸的重要特征。
关系层:
将N×N个特征向量进行所有成对拼接组合,一共由N×N×N个组合特征。通过该成对组合方式,获得了人脸的位置关系。
然后将这些成对的组合通过一个参数共享的全连通层,嵌入到L维的关系向量中。
该过程提取了诸如形状、大小等人脸的代表性关系。
Coordinates Layer(坐标层):
人脸各部分的位置是人脸分类时的重要信息。面部部分的相对距离,例如从嘴唇到下巴或眼睛到眼睛的距离,是身份的代表性特征。由于这一信息不依赖于领域,它可以有效地用于近红外-可见光人脸识别任务。
简单地添加两个额外的通道,表示两个空间维度。
第一个通道的第一行用0填充,第二行用1填充,以此类推。第二个通道的填充也与第一个通道相似,但列是常数值,并按比例缩放为[-1,1]。
三、损失函数
使用softmax loss和triple loss训练。
Softmax Loss:
通过L2归一化对嵌入特征进行归一化,然后对归一化特征进行s比例缩放。
Triplet Loss:
a是随机选择的输入图像的人脸图像。
p是与a同一身份且不同域下的人脸图像。
n是与a不同身份且不同域下的人脸图像。
CS是余弦相似性。
m是条件余量,取0.7。
整体损失:
四、实验
CASIA NIR-VIS 2.0: