深度伪造检测：揭开 AI 造假的 “面纱”

深度伪造检测：揭开 AI 造假的 “面纱”

前言

​ 在当今数字化时代，人工智能技术的飞速发展给我们的生活带来了诸多便利和创新，但同时也催生了一种极具威胁性的技术 —— 深度伪造**（Deepfake）。深度伪造利用深度学习算法生成高度逼真的虚假图像、视频或音频内容，这些虚假内容可以轻易地误导公众、损害个人声誉、破坏社会信任，甚至对国家安全构成严重威胁。因此，深度伪造检测技术(Deepfake Detection)**应运而生，成为计算机视觉领域中备受关注的研究热点。

什么是深度伪造？

​ Deepfake 是英文 “Deep learning”（深度学习）和 “Fake”（伪造）的混合词，是指利用深度学习技术，特别是生成对抗网络（GANs）等，这是 Deepfake 技术的核心。GANs 由生成器和判别器**（二分类器）**组成。生成器负责生成虚假的图像或视频，它学习真实数据的特征分布，并尝试生成与之相似的内容。判别器则负责判断输入的内容是真实的还是生成器生成的虚假内容。两者不断进行对抗训练，生成器逐渐提高生成内容的逼真度，直到判别器难以区分真假。
​ 如果将生成器比作画家，那么判别器可以比作艺术鉴赏家，艺术鉴赏家在欣赏完画作后会给出自己的评价和看法。

图1生成对抗网络

常用伪造方式

1. FaceSwap：一种基于图形学的面部交换方法。通过稀疏检测面部特征点提取面部区域，利用这些特征点拟合 3D 模板模型，再将模型反向投影到目标图像，最后进行渲染、融合和颜色校正。
2. DeepFakes：基于深度学习的面部替换方法。用两个具有共享编码器的自动编码器分别训练源脸和目标脸的重建，使用人脸检测器裁剪和对齐图像，将源脸的训练编码器和解码器应用于目标脸。
3. Face2Face：面部重演系统，可将源视频的表情转移到目标视频，同时保持目标人物身份。
4. NeuralTextures：基于 NeuralTextures 的渲染方法进行面部重演。利用原始视频数据学习目标人物的神经纹理和渲染网络，结合光度重建损失和对抗损失进行训练，使用基于补丁的 GAN - loss。

图2伪造方式

深度伪造检测

​ 深度伪造检测技术是为了对抗深度伪造（Deepfake）技术所带来的负面影响而发展起来的一种技术手段。本质上，它是一个二分类器，能够判断内容是真实的（Real）还是伪造的（Fake）。

图3深度伪造检测器

主流的检测器主要分为三类：朴素检测器（Naive Detector），空间检测器（Spatial Detector），频率检测器（Frequency Detector）

这三类检测器各有其特点和适用场景：

• 朴素检测器：直接使用原始图像或视频帧作为输入，通过深度学习模型进行分类。优点是简单直接，但可能会忽略一些细微的伪造痕迹。
• 空间检测器：关注图像或视频中的空间特征，如面部特征、纹理等。这类检测器能够捕捉到一些细微的空间异常，但可能对高质量的伪造内容效果有限。
• 频率检测器：分析图像或视频的频率域特征，能够发现一些在空间域不易察觉的伪造痕迹。这类检测器对某些特定类型的伪造效果显著，但可能需要更多的计算资源。

参考

Rossler, Andreas, et al. “Faceforensics++: Learning to detect manipulated facial images.” Proceedings of the IEEE/CVF international conference on computer vision. 2019.
Yan, Zhiyuan, et al. “Deepfakebench: A comprehensive benchmark of deepfake detection.” arXiv preprint arXiv:2307.01426 (2023).