可以通过其瞳孔判断AI生成的人脸数据是否可靠

概述

我们都知道，GANs的发展使得生成相互之间无法区分的人脸图像成为可能。虽然这项技术在发展，但也有弊端，比如出现了用生成的人脸作为资料图片的虚假社交媒体账户。因此，随着GANs的发展，使用深度学习模型检测生成的人脸图像的方法已经被开发出来。然而，这些方法存在两个严重的挑战：缺乏可解释性，以及由于过拟合问题，不同生成方法之间的概括性差。例如，通过检测GAN生成模型在表示人脸和物理世界之间的互动方面的不足之处，已经取得了改进。作为一个例子，有人提议利用两只生成的眼睛之间的角膜镜面亮点的差异。然而，在严格的人像环境下，所提出的方法不能以这种方式使用，即光源和反射器对两只眼睛都是可见的，而且眼睛与光源和反射器是分开的。为了克服这些限制并探索更稳健的模型，我们提出了一种基于瞳孔形状的新物理方法。
论文地址：https://arxiv.org/pdf/2109.00162.pdf

方法

这个方法很简单。为了检测瞳孔形状的假象，如下图所示，并确定GAN生成的人脸，该方法首先自动提取两只眼睛的瞳孔面具，并评估它们是否是椭圆形的。

为此，还包括瞳孔裁剪技术，但我们将跳过大部分技术。

实验

数据集

我们使用FlickrFaces-HQ（FFHQ）数据集来获取真实的人脸图像，以及由StyleGAN22创建的GAN生成的人脸。我们有1000张分辨率为1024x1024的每一类的图片。

结果

下图是对真实人脸和由GAN生成的人脸的眼睛分析结果的一个例子。

真正的人的眼睛有强烈的椭圆形，这在他们的眼睛中得到了高度体现。

BIoU得分

在预测的瞳孔遮盖物和椭圆拟合的瞳孔遮盖物之间，它是比较高的。然而，不规则形状的瞳孔伪影会大大降低BIoU的得分。真实面孔和GAN生成的面孔的学生的BIoU分数的分布也显示在下图中。两种分布之间有明显的区别，表明不规则的瞳孔形状是区分真实和GAN生成的脸的有效手段。

限制条件

该方法也有一些局限性：它使用瞳孔的不规则几何形状来检测GAN生成的面。如果在瞳孔或虹膜区域有疾病或其他问题，这种方法的效果并不好。此外，瞳孔闭塞或瞳孔分割的失败也会导致错误的预测。换句话说，就是假定瞳孔被干净地捕获。

总结

我们提出，由GAN生成的人脸可以通过其瞳孔的不规则形状进行判断。在未来，我们将考虑GAN生成的人脸的两个瞳孔之间的其他类型的不一致，例如不同的几何形状和两个眼睛的瞳孔的相对位置。仍有一些几何特征需要确定，我们相信会提出一种更方便的检测方法。

随着GAN技术的发展，我相信会产生人们难以分辨的图像。考虑到这种技术的滥用，我们肯定会需要这种技术，所以我们会一直关注它。