@MENGM0
本文使用图像的功率谱特征实现了对高分率伪造人脸图片的检测。
Introduction
文章2019年11月发布在arxiv上,提出了使用图像的功率谱(Power Spectrum)作为特征,使用简单的机器学习方法(SVM)进行伪造图像的取证。作者的Github。
数据集
作者制作了一个名为Faces-HQ的数据集,19GB,真实图片来自CelebA-HQ和Flickr-Faces-HQ,伪造图像来自www.thispersondoesnotexist.com和100K Faces project,每个数据集各1w张,都是高分辨率图像。
功率谱特征
作者求出每个数据集的每张图像的功率谱特征再求平均值,分别画出4条曲线,可以看出真实的图像的x轴对应的能量更低,具有线性可分的特征。
算法流程
下图是算法流程,下面将会介绍怎么提取特征。
首先对图像进行二维离散傅里叶变换,得到幅度谱(Amplitude Spectrum)和相位谱(Phase Spectrum),功率谱是幅度谱的平方。此时将二维的功率谱特征进行方位平均(Azimuthal Average),最终得到一维的功率谱特征。
对于试验的1024×1024大小的图像,提取的特征为722维向量。图像对应的1D功率谱如下图所示。
试验结果
Faces-HQ
Faces-HQ都是高分辨率正脸图像,效果很好,检测率为100%
FaceForensics++
FaceForensics++是Deepfake检测的常用数据集,通过截取关键帧,得到分辨率较低的人脸图像,提取功率谱特征进行训练,检测率为87%
总结:使用GAN网络生成虚假的人脸,可能会残留其固有的“指纹”,就像不同厂家的设备拍的照片的光流不一致,而功率谱特征就可以作为伪造人脸取证的有效特征。