【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测_dire for diffusion-generated image detection

视觉AIGC识别——人脸伪造检测、误差特征 + 不可见水印

• 前言
• 视觉AIGC识别
• 【误差特征】DIRE for Diffusion-Generated Image Detection
• • 方法
    • • 扩散模型的角色
        • DIRE作为检测指标
    • 实验结果
    • • 泛化能力和抗扰动
• 人脸伪造监测（Face Forgery Detection）
• • 人脸伪造图生成
• 其他类型假图检测（Others types of Fake Image Detection）

---

🌈你好呀！我是 是Yu欸

🌌 2024每日百字篆刻时光，感谢你的陪伴与支持 ~

🚀 欢迎一起踏上探险之旅，挖掘无限可能，共同成长！

---

前些天发现了一个人工智能学习网站，内容深入浅出、易于理解。如果对人工智能感兴趣，不妨点击查看。

前言

续篇：一文速览深度伪造检测（Detection of Deepfakes）：未来技术的守门人

参考：https://mp.weixin.qq.com/s/inGjMdX9TTUa3hKWaMkd3A

视觉AIGC识别

根据已有的研究工作调研，将视觉AIGC识别粗略划分为：

• 人脸伪造检测（Face Forgery Detection）：包含人脸的AIG图片/视频的检测，例如AI换脸、人脸操控等。此类方法主要关注带有人脸相关的检测方法，检测方法可能会涉及人脸信息的先验。
• AIG整图检测（AI Generated-images Detection）：检测一整张图是否由AI生成，检测更加的泛化。这类方法相对更关注生成图与真实图更通用的底层区别，通常专注于整张图，比如近年爆火的SD、Midjounery的绘图；
• 其他类型假图检测（Others types of Fake Image Detection）：此类方法更偏向于 局部伪造、综合伪造等一系列更复杂的图片造假，当然人脸伪造也属于局部、复杂，但是是人脸场景。将AIG图与真实图拼凑、合成的图片识别也属于这一类。
  这三种类型之间划分并不明晰，很多方法同时具有多种检测能力，可划分为多种类型。严格意义上说AIG整图和其他造假图检测类型可能都会包含人脸信息，但三种类型方法往往技术出发点也不同。

【误差特征】DIRE for Diffusion-Generated Image Detection

Arxiv 2023

方法

作者发现DM 图可以被近似地被扩散模型重建，但真实图片不行。将重建图和原图的图片差异记为扩散重建差（DIffusion Reconstruction Error，DIRE），则DIRE可以作为特征进行2分类训练，判断是否虚假，泛化性会高很多；

扩散模型的角色

扩散模型在这里充当了一种“数字时间机器”的角色，通过将图像“倒带”回过去的某个状态，然后再“快进”到现在，来重建图像。对于合成图像而言，这种“时间旅行”的过程中丢失的信息较少，因为它们本身就是由类似的深度学习模型生成的，因此它们与扩散模型重建的版本更为接近。相反，真实图像在这一过程中会丢失更多的细节，因为它们包含了更复杂和多样的信息，这些信息在通过扩散模型的“滤镜”时难以保留。

DIRE作为检测指标

将DIRE视作一种“指纹差异仪”，它可以测量一个图像经过时间机器旅行前后的变化量。对于合成图像，这种变化相对较小，因为它们本质上已经是“时间旅行”的产物。对于真实图像，变化较大，因为时间旅行过程中它们失去了更多的原始信息。

重建图像差DIRE可以区分真实图和合成图的原因如下图：

• 合成图在重建后变化往往较小；
• 真实图在重建后变化相对较大；

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料