近期阅读的几篇针对于使用深度方法篡改的图像（即DNG图像）的检测论文汇总（随时更新）

目录

Abstract

Introduction

1 二分类方法

1.1 CNN-generated images are surprisingly easy to spot... for now

1.2 Identification of Deep Network Generated Images Using Disparities in Color Components

1.3 Detecting GAN generated Fake Images using Co-occurrence Matrices

2 多分类方法

2.1 Fighting Deepfake by Exposing the Convolutional Traces on Images

2.2 Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints

3 定位方法

3.1 Image Inpainting Detection Based on Multi-task Deep Learning Network

3.2 Localization of Deep Inpainting Using High-Pass Fully Convolutional Network

Conclusion

Reference

---

 

Abstract

随着计算机技术的发展，图像篡改技术（如JPEG压缩、高斯滤波等）快速发展，新的图像修改工具也层出不穷，图像篡改取证问题由于其重要的现实意义而一直是计算机视觉领域的研究热点。近年来，随着深度网络的兴起，基于深度生成网络的图像篡改技术也在飞速发展，针对此类技术的图像取证研究也得到越来越多人的重视。本文旨在介绍几种针对于深度网络生成图像（DNG图像）进行篡改取证（包含分类或定位）的方法。这些方法中既包含一些机器学习方法（不使用深度卷积网络），也包含深度学习方法。此外，还简单总结了本领域目前的研究现状以及局限性。

Keywords: image forensics; multimedia forensics; deepfake; GAN; inpainting detection

 

Introduction

近年来，随着自动编码器(AE）和生成对抗网络（GAN）技术的日趋成熟，催生了许多使用深度神经网络进行图像篡改的方法，这些方法统称为“deepfake”。这给图像篡改取证研究带来了巨大的挑战，因为这些技术生成的内容比传统意义上的方法生成的内容要真实得多。Verdoliva[1]综述了媒体取证和deepfake。Pengpeng Yang[2]对以深度学习为基础的图像取证进行了调研，其中包括GAN生成图像的取证研究，他们大致将GAN生成图像的取证方法分为三类：现有的检测方法，基于图像颜色特征分析的方法以及基于图像残差/噪声分析的技术。Francesco Marra[3]等人评估了几种图像取证检测器和流行的计算机视觉CNN架构在GAN生成图像检测方面的性能，他们的对比实验结果表明，XceptionNet具有最高的平均检测准确率，且具有较高的鲁棒性。

Pengpeng Yang[2]中还给出了几种检测方法对各个GAN网络生成的图像的检测能力汇总。

从任务设计的角度，所有的DNG图像检测方法可以分为二分类方法、多分类方法、检测及定位方法。就实际应用意义来说，毫无疑问，对整个图像进行分类只是基础，精准地对篡改区域进行定位，判断出图像中哪些内容是真实/虚假的，才是研究人员最终的目标。

 

1 二分类方法

1.1 CNN-generated images are surprisingly easy to spot... for now

Sheng-Y u Wang[4] 等人认为DNG图像可以通过训练一个简单的分类器很容易就检测出来。他们使用ProGAN生成了大量篡改图像，将生成的图像和原图像混合作为训练集，然后训练了一个基于ResNet-50的分类器对输入图片是否为篡改图像进行二分类。使用由多种不同的GAN网络生成的图像进行测试，并对测试集进行了JPEG压缩，高斯模糊等后处理，以证明这种简单的方法对于检测所有DNG图像的泛化性，以及对后处理的鲁棒性。他们的分类结果如下。

 

1.2 Identification of Deep Network Generated Images Using Disparities in Color Components

Haodong Li[5] 等人在研究如何对抗由GAN网络生成的篡改图像的过程中，还发现了另一条规律，即deepfake与真实图像在残差域里所体现出的差别，在不同的颜色空间中的不同分量上，可以体现的更明显。作者分别对图像的原像素域和残差域在三种颜色空间（RGB、HSV、YCbCr）中的各个分量进行了统计学分析，从统计结果中找出这种差异最显著的分量（即H、S、Cb、Cr）。