生成对抗网络在可将光到红外光跨模态风格迁移中的论文阅读

1、Facial Feature Embedded CycleGAN for VIS-NIR Translation

motivation

VIS-NIR人脸识别仍然是一项具有挑战性的任务，因为这两种模式的光谱成分之间的区别以及配对训练数据的不足。
本文在CycleGAN的启发下，提出了一种将VIS人脸图像转化为伪NIR图像的方法，该方法的目的是为了近似真实NIR图像的分布，并提出了一种新的人脸特征嵌入CycleGAN。

首先，为了在保持可见光域和近红外域的共同人脸表示的同时了解近红外域的特殊特征，我们采用了一种通用的人脸特征抽取器（FFE）来代替原CycleGAN生成器中的编码器。为了实现面部特征提取，本文在VIS面部数据库上对MobileFaceNet进行了预训练，并且能够提取有效的特征。其次，考虑到一个新的像素一致性损失，增强了区域不变特征学习。最后，我们建立了一个新的WHU VIS-NIR数据库，该数据库在面部旋转和表情上有所不同，以丰富训练数据。

methods

Networks

FFE的效果在图像迁移结果上有着较大的影响，因此论文选择了MobileFaceNet作为人脸特征提取器（FFE）。
将MobileFaceNet嵌入到CycleGAN的生成器中有助于学习人脸特征。转换模块不转换从整体输入图像中提取的特征，只转换由FFE提取的面部特征，有效地解决了人脸风格转换的问题。因此我们需要一个能够精确提取人脸特征的人脸特征提取器。然而，近红外图像的数量远小于可见光图像。两种模态训练样本量的巨大差异是风格转换任务的另一大挑战。在这种情况下，很难同时在少量成对的VIS-NIR图像上训练好FFE模块和整个生成器。因此，我们对FFE模块进行了预先训练，充分利用了易于获取的VIS图像。预先训练的FFE模块可以精确地提取出任何来自VIS域或NIR域的人脸特征。然后，我们在成对的VIS-NIR数据集上训练FFECycleGAN网络，学习两个域之间的映射函数。通过这样做，我们可以合成更逼真的近红外图像。

Pixel Consistency Loss

用最小方差损失代替了对数平方损失。

总损失：

2、Cross-spectral Face Completion for NIR-VIS Heterogeneous Face Recognition

paper

摘要

近红外-可见光（NIR-VIS）异种人脸识别是指将NIR与VIS人脸图像进行匹配的过程。目前的异构方法试图通过从NIR图像合成VIS图像，将VIS人脸识别方法扩展到NIR光谱。然而，由于自遮挡和传感间隙，近红外人脸图像会丢失一些可见光内容，因此与可见光人脸图像相比，它们总是不完整的。本文将高分辨率非均匀人脸合成建模为两个组件的互补组合，即纹理修复组件和姿态校正组件。Inpainting组件从NIR图像纹理合成并输入VIS图像纹理。校正组件将NIR图像中的任何姿势映射到VIS图像中的正面姿势，从而生成成对的NIR和VIS纹理。为了将两个组件集成到端到端的深度网络中，开发了一种翘曲程序。分别设计了一个细粒度鉴别器和一个基于小波的鉴别器来监控类内方差和视觉质量。一个紫外线损失，两个敌对损失和一个像素损失，以确保合成结果。我们证明，通过附加校正分量，我们可以简化从一对多不成对图像转换到一对一图像转换的异类人脸合成，并将异类识别过程中的光谱和姿态差异最小化。大量的实验结果表明，我们的网络不仅可以生成高分辨率的可视人脸图像，而且有助于提高异构人脸识别的准确性。

3、Adversarial Discriminative Heterogeneous Face Recognition

paper

摘要

不同人脸模式的感知模式之间的差异仍然是异种人脸识别（HFR）中一个具有挑战性的问题。本文提出了一种对抗性识别特征学习框架，通过对原始像素空间和紧凑特征空间的对抗性学习来消除传感间隙。该框架将跨光谱的人脸幻觉和识别特征学习整合到一个端到端的对抗网络中。在像素空间中，我们利用生成的对抗网络进行跨光谱的人脸幻觉。提出了一种复杂的双路径模型，解决了图像对的不足，同时考虑了图像的全局结构和局部纹理。在特征空间中，分别采用一个逆损失和一个高阶方差差分损失来度量两个异质分布之间的全局和局部差异。这两种损失增强了区域不变特征学习和模态无关噪声消除。在三个NIR-VIS数据库上的实验结果表明，我们提出的方法在不需要复杂网络或大规模训练数据集的情况下，优于最先进的HFR方法。