一、主要贡献
- 作者提出一种半监督学习方法用于人脸反欺骗,这个方法利用基于GAN的图像修复模型来学习人脸图像潜在的数据分布,同时将少量带标签图像融入图像修复训练过程,来提升真伪人脸分类性能。
- 实验是在NUAA数据集和口罩遮挡人脸数据集RMFD上进行验证的,结果表明,所提方法能够在不降低修复图像质量的情况下达到理想的分类精度。而且比Improved-GAN 方法和常用的半监督机器学习方法更有优势,并优于支持向量机和卷积神经网络的监督学习方法。
- 总结来说就是:这篇文章提出了一种半监督学习方法,解决了摄像人脸和GAN生成的戴口罩人脸,这两种情况的人脸反欺骗问题。
二、基于图像修复的人脸反欺骗模型
- 论文用的GAN模型类似于图像修复的GAN结构,分为生成器和判别器两个卷积神经网络。判别器又被分为局部判别器和全局判别器。 整体:首先给定缺失的图像,生成器根据判别器的指导进行无监督的训练,补全缺失的图像。同时,人脸反欺骗任务被整合到全局判别器的训练过程中,让全局判别器 能使用少量有监督信号来学习识别 真实和伪造的人脸图像。
- 生成器架构:遵循 “编码器和解码器的结构”,输入的是存在缺失的RGB图像及其二值图像,输出是复原的RGB 图像。
- 判别器结构:由于图像修复不仅要保证填充图像区域的质量,还要关注修复后图像的一致性。所以,判别器分为局部判别器和全局判别器。局部判别器用于判断缺失区域中生成的内容是否真实的,全局判别器用于判断生成内容与周围像素环境是否一致。
这个模型的局部和全局判别器的卷积层都使用5×5大小的卷积核以及2×2的步长 来降低分辨率,分别得到1024维的向量。最后,将这两个向量连接成一个2048维的向量,由1个全连接层进行处理,输出一个连续的值。然后这个数值被Sigmoid函数映射到[0,1]范围内,用于判断图像是真实的图像,而不是修复图像的概率。 - 全局判别器对整体图像的判断 源于从潜在数据分布学习到的特征表示,所以可以利用全局判别器在真伪人脸数据分布上提取的特征 进一步进行学习分类。本文通过一个全连接层(线性转换)将全局判别器的输出的1024维特征向量转换成一个2维向量,代表对真伪人脸图像的评分,然后使用Softmax层输出真伪人脸图像的概率。
三、神经网络训练过程
整个神经网络的训练过程被分为3个阶段:
- 首先,固定判别器参数,训练生成器模型。
- 固定生成器参数,用无标签图像计算GAN 损失函数,回传梯度并更新判别器参数,进行无监督学习训练,并且在每次训练完判别器后,利用带标签图像计算交叉熵分类损失函数,来训练全局判别器。
- 用无标签数据,通过GAN 损失函数对生成器和判别器进行联合训练,先训练判别器再训练生成器,并且在每次迭代完成后 基于带标签图像用交叉熵分类损失函数训练全局判别器。
GAN 损失函数目的是训练判别器,来判断被修复图像是否真实;
交叉熵分类损失函数用于训练全局判别器,让全局判别器具有区分真伪人脸图像的能力,也就是图像分类的能力。
四、实验结果
4.1 数据集
本文一共用到3个数据集:
(1)第1个是NUAA人脸反欺骗数据集。这个数据集使用通用的网络摄像头对实验对象及其照片进行拍照,来得到的真实和伪造人脸图像。
(2)第2个是武汉大学免费开放的口罩遮挡的人脸数据集RMFD。该数据集包含了将近5000张真实口罩遮挡人脸图像。这个数据集中的伪造人脸图像由口罩遮挡人脸图像通过 深度卷积生成对抗网络(DCGAN)模型生成的。
(3)第3个是CelebA-Spoof大型人脸反欺骗数据集。这个数据集有62万张图像。
4.2 实验
- 表3和表4分别是在NUAA和RMFD数据集上,半监督学习对不同数量的带标签图像的分类准确率。可以看出,在这两个数据集上,本文的方法整体上 比其他半监督学习方法准确率更高。
而且发现,同样的方法在RMFD 上的分类准确率比NUAA 数据集低。(作者分析,一方面可能是RMFD中的人脸图像存在口罩遮挡,大量的关键面部特征不能利用;另一方面,RMFD 中的伪造人脸图像由DCGAN生成,在噪声有限的情况下能最大限度地模拟真实人脸图像特征,所以较难区分。)
- 表5和表6分别在NUAA和RMFD数据集上,在少量带标签训练图像情况下,对比了所提出的半监督学习方法和一般的监督学习方法(即SVM和CNN)。可以看出来,在提供少量带标签图像的情况下,本文的半监督学习方法优于其他两种方法。而且当带标签图像越来越多时,本文方法的分类准确率相较于监督学习方法虽有提升,但提升不多,这说明本文方法更加适用于少量带标签图像的情况。
- 表7是在人脸反欺骗数据集CelebA-Spoof上,半监督学习对不同数量带标签图像的分类准确率。选择的是Improved-GAN 和SHOT-VAE 半监督学习方法与本文方法进行比较。可以看出,与另外两种方法相比,本文方法的分类准确率依然比较好,通过这几个实验对比,证明了本文方法的有效性。