论文阅读-Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues(F3Net基于频率感知线索的人脸)

一、论文信息：

• 题目：Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues （基于频率感知线索的人脸伪造检测）
• 作者团队：

会议：ECCV 2020

二、背景与创新

1、背景：随着Deepfake技术不断迭代，检测合成人脸的挑战也越来越多。虽然已有的基于RGB色彩空间的检测技术准确率不错，但是实际中，这些视频随着流媒体传播，视频通常会被多次压缩，而在较低质量的视频中，要想进行检测就比较困难，这也一定程度上启发我们去挖掘频域内的信息。如何才能把频域信息引入到CNN中是一个难点，传统的FFT和DCT不满足平移不变性和局部一致性，因此直接放在CNN可能是不可行的。

2、创新：作者提出了两种频率特征：

1）对分离的频率分量经过一定处理，再重组回图片，最终的结果输入进CNN当中。

2）在每个局部空间（patch）内，统计频率信息