Domain Private and Agnostic Feature for Modality Adaptive Face Recognition阅读笔记

最新推荐文章于 2023-11-18 17:56:47 发布

Ma lidong

最新推荐文章于 2023-11-18 17:56:47 发布

阅读量544

点赞数 1

分类专栏：异质人脸识别论文阅读文章标签：人脸识别计算机视觉深度学习

本文链接：https://blog.csdn.net/qq_41684249/article/details/109840615

版权

18 篇文章 13 订阅

订阅专栏

发布于2020年。

提出了一种用于学习模态不可知特征的特征聚合网络（FAN），其中提出了一种新颖的解缠表示模块（DRM），该模块包含两个Siamese子网络（域私有网络和域不可知网络）。借助DRM，模态和身份特征可以部分解开。
提出了特征融合模块（FFM），通过域特征和身份特征的双向身份特征变换（交叉映射）进一步分离身份信息和形态信息。
提出了具有自适应硬对自惩罚的自适应惩罚度量（APM），这在很大程度上减少了训练阶段的模型偏差。同时，它还保证了跨模式的类内紧凑性和类间分离。
在三个基准VIS-NIR数据库上达到了最先进的性能，即Rank-1精度上，在CASIA NIR-VIS 2.0上达到99.6％，在Oulu-CASIA NIRVIS上达到100.0％，在BUAA-VisNir上达到99.2％。

在这里插入图片描述
训练过程：

面部外观包含域无关信息（身份）和域私有信息（模态），这些信息高度纠缠在一起。
DRM有两个Siamese子网络，分别用于提取身份特征和模态特征，子网络使用LightCNN作为backbone。
第一个公式是域无关网络损失，CE表示交叉熵损失，x表示身份特征，q表示模态（VIS或者NIR），y表示身份标签，Θ表示域无关网络的参数。
第二个公式是域私有网络损失，CE表示交叉熵损失，m表示模态特征，q表示模态（VIS或者NIR），d表示二进制域标签（比如VIS图像是0，NIR图像是1），Φ表示域私有网络的参数。

FFM有功能融合部分和身份增强网络两部分。
为了进一步区分身份和模态信息，将身份特征与模态特征连接在一起，以形成四个域指定的身份特征。
将四种新的域指定身份特征馈入身份增强网络以进行身份分类。由于这些新的域指定身份特征同时包含模态信息和身份信息，因此，通过关注身份增强网络中身份信息的区分，可以提高解开域不可知网络身份特征的能力。
为了进行身份识别，将四个融合特征馈入到身份增强网络中，该网络包括两个具有参数W的完全连接的层。通过第一次完全连接可以减小融合特征的尺寸层，第二完全连接层用于身份分类。
CE表示交叉熵损失，s，q表示融合特征，y表示身份标签，W是FC参数。

在这里插入图片描述

不同模态提取的人脸特征位于两个单独空间中，如图a，类内交叉模态对和类间交叉模态对的距离是不可分割的。因此，有必要设计一种能够适应模态变化的合适且有效的度量，以使类内交叉模态对和类间交叉模态对的距离可以在度量空间中分开。
LMM着重于学习具有两个距离约束的身份特征表示，即小类内交叉模式距离和大类间交叉模态距离。
k表示特征，D表示两个特征之间的欧氏距离，R1和R2是常数且R2>R1。
当VIS图像和NIR图像具有相同的标签时，他们特征的欧氏距离要小于R2-R1；当VIS图像和NIR图像具有不同的标签时，他们特征的欧氏距离要大于R2-R1。
将式子约束简化得到上述第一个式子，Θ表示模型。
为了加速训练，引入hinge loss得到下面的式子，模型仅优化违反约束条件的样本对，提高训练效率。

LMM忽略了HFR数据中严重的样本不平衡和困难样本对可能会恶化模型对模型偏差的训练问题。如图c，距离小于下边距的具有相同标识的样本对表示为困难负样本对，距离大于上边距的具有相同标识的样本对设置为：困难正样本对。因此，硬阈值R1和R2可能不是自适应的。在LMM的基础上，提出了自适应惩罚度量（APM），将自适应惩罚因子引入硬样本对，以提高FAN模型的训练质量。
β是困难样本对的标签定义。
将LMM进行改变，加入自适应惩罚因子ε1，ε2。
在优化过程中，违反此约束的同一标识的样本对将被拉到锚点样本的下边距，违反该约束的不同对的样本对将推到锚点的上边距。这样，模态差异将被减少，从而增强了对身份特征的辨别力。
将APM Loss集成到与域无关的网络和FFM中，以进行模型训练。α为平衡系数。