Learning Domain-Invariant Discriminative Features for Heterogeneous Face Recognition阅读笔记

Shanmin Yang; Keren Fu; Xiao Yang; Ye Lin; Jianwei Zhang; Cheng Peng
2020 IEEE

一、简介

提出了一个用于学习HFR的域不变鉴别特征的四元组框架，它在一个统一的网络中集成了域级和类级对齐。

域级比对减少了跨域分布差异。

一种基于特殊四极子损失的类级比对方法。它不仅产生了大量的跨域人脸图像对的数量，但也约束具有相同身份的图像在特征空间中比具有不同身份的图像更接近。

通过这种类对齐方法和域对齐方法的联合监督和相互增强，可以有效地减少跨域差异，增强学习到的身份特征的区分度。

二、网络结构

特征提取器：

LightCNN-9和LightCnn-29用作主干。

DOMAIN-LEVEL ALIGNMENT（域级对齐）：

域级对齐旨在消除域相关信息并生成域不变的人脸表示。

使用对抗性域适应的思想，训练一个域鉴别器和一个特征生成器。域鉴别器最小化域分类损失，特征生成器最大化域目标损失。

对抗域自适应方法可以在源域和目标域表示之间实现良好的全局对齐，从而消除它们之间的域差异。然而，它受到阶级错位和对抗性平衡挑战的困扰。因此，我们引入了一种新的基于四元组的类对齐方法，它与对立的域级对齐相互补充和促进。

在域鉴别器之前添加梯度反转层(GRL)，GRL在正向传播中起着身份转换的作用。而在反向传播过程中，它将梯度乘以因子λ后，将梯度从下一层传输到上一层。

由“FC + MFM + FC”层(8192→256→2)构建

QUADRUPLET BASED CLASS ALIGNMENT（四元组类对齐）：

四元组函数不仅扩大了训练集，而且约束了实例间的距离，有利于进一步减少全局差异，保证不同领域的良好对齐。

引入基于四元组的类对齐方法来探索样本之间的关系，紧密对齐属于同一身份的跨模态表示，并清晰地分离属于不同身份的表示。

由“FC + MFM”层(8192 → 256)构建，在损失函数的监督下，将身份表示fi映射到256维特征向量。MFM(最大特征映射)是激活函数。它采用竞争关系而不是阈值(或偏差)来激活神经元，在特征选择方面非常强大，适用于不同的CNN架构。

值得注意的是，在训练和测试阶段，256-D身份特征向量都直接用于人脸比较，而没有遵循任何完全连接(FC)的分类器层。FC层将导致网络参数大幅增加，甚至随着训练数据中受试者数量的增加而增加，增加了网络训练的难度。

三、损失函数

classification loss：

实际上就是交叉熵损失。

四元组损失：

a表示目标域（NIR）人脸；

p表示与a同身份的源域（VIS）人脸；

n1表示与a不同身份的源域（VIS）人脸；

n2表示与a和n1不同身份的源域（VIS）人脸；

m1和m2是正对和负对之间强制的边距；

D是两者的余弦距离；

[.]+表示max(.，0)；

y是是一个介于0和1之间的超参数，用于控制第二项的强度；

第一项是常用的三重态损耗，它集中于匹配和非匹配对之间的相对距离。第二项引入了一个新的约束，它强制最小类间距离比最大类内距离大2倍。这有助于进一步提高类间可分性和提升泛化性能。

即使对于一个小数据集来说，四元组的可能数量也是巨大的，优化所有四元组在计算和训练时间上是不可行的。另一方面，四元组的随机选择容易满足约束，因此对训练的贡献较小；

a和p设置为最不相似的跨域正对；

a和n1设置为最相似的跨域负对；

这种方法的优点有两个方面：第一，双向跨域四元组采样方法可以产生正负训练样本，从而更有效地挖掘源域和目标域图像之间潜在的差异和共性。第二，在跨域四元组丢失的约束下，网络更加注重个体的区分，使得跨域移位可以被进一步削弱甚至消除，学习到的特征将更具识别性。

最终损失：

四、实验

CASIA NIR-VIS 2.0：

Oulu-CASIA NIR-VIS：

BUAA-VisNir：