《基于半监督学习的人脸识别反欺骗方法研究》论文阅读

---

一、主要贡献

• 作者提出一种半监督学习方法用于人脸反欺骗，这个方法利用基于GAN的图像修复模型来学习人脸图像潜在的数据分布，同时将少量带标签图像融入图像修复训练过程，来提升真伪人脸分类性能。
• 实验是在NUAA数据集和口罩遮挡人脸数据集RMFD上进行验证的，结果表明，所提方法能够在不降低修复图像质量的情况下达到理想的分类精度。而且比Improved-GAN 方法和常用的半监督机器学习方法更有优势，并优于支持向量机和卷积神经网络的监督学习方法。
• 总结来说就是：这篇文章提出了一种半监督学习方法，解决了摄像人脸和GAN生成的戴口罩人脸，这两种情况的人脸反欺骗问题。

二、基于图像修复的人脸反欺骗模型

1. 论文用的GAN模型类似于图像修复的GAN结构，分为生成器和判别器两个卷积神经网络。判别器又被分为局部判别器和全局判别器。 整体：首先给定缺失的图像，生成器根据判别器的指导进行无监督的训练，补全缺失的图像。同时，人脸反欺骗任务被整合到全局判别器的训练过程中，让全局判别器 能使用少量有监督信号来学习识别 真实和伪造的人脸图像。
2. 生成器架构：遵循 “编码器和解码器的结构”，输入的是存在缺失的RGB图像及其二值图像，输出是复原的RGB 图像。
3. 判别器结构：由于图像修复不仅要保证填充图像区域的质量，还要关注修复后图像的一致性。所以，判别器分为局部判别器和全局判别器。局部判别器用于判断缺失区域中生成的内容是否真实的，全局判别器用于判断生成内容与周围像素环境是否一致。
   这个模型的局部和全局判别器的卷积层都使用5×5大小的卷积核以及2×2的步长 来降低分辨率，分别得到1024维的向量。最后，将这两个向量连接成一个2048维的向量，由1个全连接层进行处理，输出一个连续的值。然后这个数值被Sigmoid函数映射到[0,1]范围内，用于判断图像是真实的图像，而不是修复图像的概率。
4. 全局判别器对整体图像的判断 源于从潜在数据分布学习到的特征表示，所以可以利用全局判别器在真伪人脸数据分布上提取的特征 进一步进行学习分类。本文通过一个全连接层（线性转换）将全局判别器的输出的1024维特征向量转换成一个2维向量，代表对真伪人脸图像的评分，然后使用Softmax层输出真伪人脸图像的概率。

三、神经网络训练过程

整个神经网络的训练过程被分为3个阶段：

1. 首先，固定判别器参数，训练生成器模型。
2. 固定生成器参数，用无标签图像计算GAN 损失函数，回传梯度并更新判别器参数，进行无监督学习训练，并且在每次训练完判别器后，利用带标签图像计算交叉熵分类损失函数，来训练全局判别器。
3. 用无标签数据，通过GAN 损失函数对生成器和判别器进行联合训练，先训练判别器再训练生成器，并且在每次迭代完成后 基于带标签图像用交叉熵分类损失函数训练全局判别器。
   GAN 损失函数目的是训练判别器，来判断被修复图像是否真实；
   交叉熵分类损失函数用于训练全局判别器，让全局判别器具有区分真伪人脸图像的能力，也就是图像分类的能力。

四、实验结果

4.1 数据集

本文一共用到3个数据集：

（1）第1个是NUAA人脸反欺骗数据集。这个数据集使用通用的网络摄像头对实验对象及其照片进行拍照，来得到的真实和伪造人脸图像。

（2）第2个是武汉大学免费开放的口罩遮挡的人脸数据集RMFD。该数据集包含了将近5000张真实口罩遮挡人脸图像。这个数据集中的伪造人脸图像由口罩遮挡人脸图像通过 深度卷积生成对抗网络（DCGAN）模型生成的。

（3）第3个是CelebA-Spoof大型人脸反欺骗数据集。这个数据集有62万张图像。

4.2 实验

1. 表3和表4分别是在NUAA和RMFD数据集上，半监督学习对不同数量的带标签图像的分类准确率。可以看出，在这两个数据集上，本文的方法整体上 比其他半监督学习方法准确率更高。
   而且发现，同样的方法在RMFD 上的分类准确率比NUAA 数据集低。（作者分析，一方面可能是RMFD中的人脸图像存在口罩遮挡，大量的关键面部特征不能利用；另一方面，RMFD 中的伪造人脸图像由DCGAN生成，在噪声有限的情况下能最大限度地模拟真实人脸图像特征，所以较难区分。）
   
2. 表5和表6分别在NUAA和RMFD数据集上，在少量带标签训练图像情况下，对比了所提出的半监督学习方法和一般的监督学习方法（即SVM和CNN）。可以看出来，在提供少量带标签图像的情况下，本文的半监督学习方法优于其他两种方法。而且当带标签图像越来越多时，本文方法的分类准确率相较于监督学习方法虽有提升，但提升不多，这说明本文方法更加适用于少量带标签图像的情况。
   
3. 表7是在人脸反欺骗数据集CelebA-Spoof上，半监督学习对不同数量带标签图像的分类准确率。选择的是Improved-GAN 和SHOT-VAE 半监督学习方法与本文方法进行比较。可以看出，与另外两种方法相比，本文方法的分类准确率依然比较好，通过这几个实验对比，证明了本文方法的有效性。