【论文笔记】Unmasking DeepFakes with simple Features

@MENGM0
本文使用图像的功率谱特征实现了对高分率伪造人脸图片的检测。

Introduction

文章2019年11月发布在arxiv上，提出了使用图像的功率谱（Power Spectrum）作为特征，使用简单的机器学习方法（SVM）进行伪造图像的取证。作者的Github。

数据集

作者制作了一个名为Faces-HQ的数据集，19GB，真实图片来自CelebA-HQ和Flickr-Faces-HQ，伪造图像来自www.thispersondoesnotexist.com和100K Faces project，每个数据集各1w张，都是高分辨率图像。

功率谱特征

作者求出每个数据集的每张图像的功率谱特征再求平均值，分别画出4条曲线，可以看出真实的图像的x轴对应的能量更低，具有线性可分的特征。

算法流程

下图是算法流程，下面将会介绍怎么提取特征。

首先对图像进行二维离散傅里叶变换，得到幅度谱（Amplitude Spectrum）和相位谱（Phase Spectrum），功率谱是幅度谱的平方。此时将二维的功率谱特征进行方位平均（Azimuthal Average），最终得到一维的功率谱特征。
对于试验的1024×1024大小的图像，提取的特征为722维向量。图像对应的1D功率谱如下图所示。

试验结果

Faces-HQ

Faces-HQ都是高分辨率正脸图像，效果很好，检测率为100%

FaceForensics++

FaceForensics++是Deepfake检测的常用数据集，通过截取关键帧，得到分辨率较低的人脸图像，提取功率谱特征进行训练，检测率为87%

总结：使用GAN网络生成虚假的人脸，可能会残留其固有的“指纹”，就像不同厂家的设备拍的照片的光流不一致，而功率谱特征就可以作为伪造人脸取证的有效特征。