Non-Visual to Visual Translation for Cross-Domain Face Recognition阅读笔记

发布于2020年3月20号。

1 动机

• 对于异质人脸识别，减小两个不同域之间的跨模态间隙是一大挑战。当两个比较域是异质的时候，当前的视觉域人脸识别系统不容易解决交叉模态的差异。
• HFR数据集的数量明显不足。

2 工作

• 通过将PC方法应用于HFR数据集，在跨域图像中将照明变化最小化。
• 使用Siames网络，以减少转换后的图像与目标域中对应图像的差距。Siamese网络和CycleGAN集成在一块一起训练。这样可以使经过预处理的转换图像保留内容的同时更适合目标图像的样式。
• 通过预训练的backbone模型进行微调，转换后的图像可以用于提供其他信息。

3 整体框架

• 整体框架由图像转换模块和特征学习模块组成。
• 第一步是图像转换模块，图像到图像的转换使得能够在未配对的设置中转换不同的域图像。减小两个不同域之间的跨模态间隙。
• 第二步是特征学习模块，特征学习模块能够通过骨干网络提取区分嵌入向量，并在视觉域中对测试数据集进行特征匹配。

4 图像转换模块

4.1 模块整体框架

• 图像转换模块由Preprocessing Chain（PC），CycleGAN和Siamese网络组成。
• CycleGAN用来克服因缺乏成对数据而带来的制约，并将图像转换为有效的目标域。学习两个域的映射功能。
• Siamese网络用来将转换后的图像内容保留在目标域中。针对该问题：如果源域和目标域之间的结构差异很大，则不能保证转换后的图像会保留输入图像的内容。
• PC用来保证转换后的图像和目标域图像之间强度范围相似。
• 首先使用训练图像来训练CycleGAN的生成器，然后训练CycleGAN的判别器以及Siamese网络。Siamese网络中使用了扩大类间距离并缩小类内距离的对比损失。由于对比性损失需要输入图像对，因此Siamese网络接收图像对的方式如下：转换后的图像和正样本图像在目标域中被拉近，转换后的图像和负样本在目标域中被推远。
• GXY：X→Y表示从X域映射到Y域。 Y域和GYX：Y→X表示从Y域映射到X域。DX，DY区分真实图像还是伪图像。从而实现未配对跨域图像的图像转换。

4.2 PC方法

• a图表示PC方法对使用不同的量化级别处理图像的结果。
• b图是PC方法的流程：伽马校正，高斯差（DoG）滤波，掩蔽和变化均衡。

4.3 网络结构

• Conv（N，K，S）：N表示通道数，K表示卷积核大小，S表示步长。
• DConv（N，K，S）：N表示通道数，K表示卷积核大小，S表示步长分之一。
  
• Conv（N，K，S）：N表示通道数，K表示卷积核大小，S表示步长。

4.4 损失函数

4.4.1 Adversarial Loss

• 上图是对抗损失，尽可能让生成器生成的数据分布接近于真实的数据分布。

1. 其中y表示域Y内的样本，x表示域X内的样本
2. DY(y)表示真实的样本Y在判别器DY之中的评分，越接近1则判别器认为此样本越真
3. G(x)为生成器根据x生成的与Y同分布的样本
4. DY( G(x))为判别器根据生成的样本得到的评分

• 由于一般的对抗性GAN损失是交叉熵的一种形式，因此有价值的梯度反馈可能不会传递给生成器。因此，为了稳定训练过程，最小二乘损失函数。
• 对于生成器G而言，相关联的只有DY( G(x))这一项，生成器的目标是希望生成的样本被判别器判以高分，即DY( G(x))这一项越大越好，但对于整个公式而言就是[1-DY( G(x))]越小越好。所以生成器会尽量最小化此loss，因此为minG。
• 对于判别器D而言，相关联的有DY(y)和DY( G(x))两项，判别器的目标是希望真实的样本y判高分，生成的样本G(x)判低分，即希望DY(y）越大越好，DY( G(x))越小越好，对于整个公式而言就是越大越好。所以判别器会尽量最大化此loss，因此为maxD。

4.4.2 Cycle Consistency Loss

• 循环一致性损失可以使可能的映射功能范围减小，并且可以防止网络陷入模式崩溃状态。防止生成器G与F相互矛盾，即两个生成器生成数据之后还能变换回来近似看成X->Y->X
• Consistency loss 源域X中的图像x，经过其中一个生成器生成图像 G(x)，作为另一个生成器的输入生成回来 F(G(x))，尽可能与原来图像接近。

4.4.3 Contrastive Loss

• Contrastive Loss（对比损失）试图使正像对的嵌入向量之间的平方欧几里德距离最小化，并使负像对的嵌入向量之间的平方欧几里德距离最大化。
• 换句话说，Contrastive Loss将转换后的图像靠近其正样本，并将转换后的图像远离其负样本。

5 特征学习模块

• 对图像提取特征然后在角度空间中进行匹配。
• 相同类别的转换图像及其对应的目标域图像被标记为相同的标签。采用ResNet-101作为预训练的backbone模型。使用清洗后的Celeb-1M数据集训练的backbone模型来作为预训练模型。然后，使用重组的训练数据集对预训练的backbone模型进行微调，以获得判别性嵌入向量。

6 实验

• 用两张图像的余弦表示相似度。
• 
• 错误接受率。

6.1 数据集

• CUHK FACE SKETCH FERET (CUFSF) DATASET。照片与素描照组成。
  
• CASIA NIR-VIS 2.0 DATASET。光照，表情，姿势变化较大。NIR近红外光谱。

6.2 实验结果

• 使用CycleGAN与Siamese的组合转换图像的效果好于CycleGAN。
• 因为CycleGAN无法保证转换后的图像与目标域图像之间强度范围相似，所以使用PC方法进行预处理。
• 使用PC方法预处理后，转换后的图像在目标区域中显示出很小的强度差异，并且改善了目标区域的内容保留和样式更改。
  
• CUFSF数据集测试。
  
• CASIA NIR-VIS 2.0数据集测试。