2020 ICASSP之人脸识别：Facial Feature Embedded CycleGAN for VIS-NIR Translation

Facial Feature Embedded CycleGAN for VIS-NIR Translation
当前的问题及概述：
由于两个模态的光谱成分的差异以及配对训练数据的不足，可见光-红外跨模态人脸识别仍然是一个具有挑战性的任务。
本文提出了一种将可见光人脸图像转换成伪近红外图像的方法，该方法通过嵌入CycleGAN的一种新的人脸特征来实现。
模型及loss：

嵌入CycleGAN的人脸特征流程图如图1所示，将人脸特征提取器(FFE)和反卷积模块(解码器)嵌入到原始CycleGAN的G和F两个生成器中，G映射试图将RGB图转换为近红外图像，F映射则近红外图像转换为RGB图像,从而有效地从人脸图像中提取特征。

网络架构如图2所示，详细分析了通用人脸特征提取器(FFE)。
其中FFE结构包括：1，FaceNet，使用对齐面部patch的三联深度网络训练，将人脸图像直接映射到一个紧凑的欧几里得空间来测量人脸相似性。它形成了大量的人脸特征提取网络，在LFW数据集上的识别精度达到99.63%。2，DeepID3，重建VGG16和googleNet的卷积层和inception layers，在训练阶段，在中间和最终的特征提取层中加入了联合人脸识别-验证监督信号，提高了人脸识别的性能，这两种方法在LFW数据集上实现