DE-FAKE: Detection and Attribution ofFake Images Generated by Text-to-Image Generation Models

一、文章信息

论文名称：DE-FAKE: Detection and Attribution of Fake Images Generated by Text-to-Image Generation Models

作者团队：

二、主要创新

本文的主要创新是开发了一种机器学习分类器，用于检测和归因文本到图像生成模型生成的虚假图像。

该研究对四种流行的文本到图像生成模型进行了广泛的实验，包括DALL·E 2, Stable Diffusion, GLIDE, and Latent Diffusion，以及两个基准图像数据集MSCOCO和Flickr30k。

实验结果表明，可以将各种模型生成的虚假图像与真实图像区分开来，并且可以有效地将虚假图像归因于其源模型。

三、方法

1、检测，分为纯图像和混合检测。

纯图像检测：检测器仅接受图像输入。

混合检测：接受图像和Prompt作为输入。图像与文本编码器均为CLIP的编码器。

 

•  纯图像检测涉及三个阶段：数据收集、数据集构建和检测器构建。

数据收集：MSCOCO 的 2