【论文阅读笔记】Mining Collaborative Spatio-Temporal Clues for Face Forgery Detection

这里介绍人脸伪造检测领域的一个工作，已被期刊Multimedia Tools and Applications接收。

论文：Mining Collaborative Spatio-Temporal Clues for Face Forgery Detection

1. 研究问题

人脸伪造检测（Face Forgery Detection）：给定图像或视频，判断其真伪。本质上是一个二分类问题。

2. 研究难点

多样的人脸伪造方法类型考验模型的泛化能力。

3. 解决思路

key idea：本文通过挖掘低维时空线索学习兼具表达力和泛化性的特征

具体来说，在空间域上构建高频通道差分特征，在时间域上构建帧间残差特征。

3.1. 高频通道差分特征 CDI-HF

• CFA插值特性可以作为判定图像真伪的线索。基于现有工作提出的通道差分图像CDI，本文观察到，在人脸伪造检测时CDI中的高频成分起主要作用，而低频成分会造成干扰。
• 因此，本文采用由自动编码器构成的信号补偿模块，滤除CDI中的低频成分，得到只保留高频成分的CDI-HF。

3.2. 帧间残差特征 IFR

• 真实视频中的视频帧之间应当是连续、一致的，而伪造视频中存在细微的不一致性。
• 相邻帧之间同一位置具有较强的相关性。直接对相邻帧作差，可以描述帧间一定的运动信息和纹理信息变化。

4. 实验结果

本文的方法通过结合互补的低维时空线索，检测精度在同数据集和跨数据集上都比Baseline有提高，具有更强的泛化性。