Leveraging Real Talking Faces via Self-Supervision for Robust Forgery Detection

一、研究背景
1、伪造检测所面临如下挑战：对于伪造检测任务，基于单张视频帧的泛化方法已较为成熟，但这些方法对干扰比较敏感（例如，分辨率压缩）。
2、现有伪造检测技术分为两类：一类是通过抑制高级语义来辅助特征提取，但是这类方法性能不佳；另一类是通过检测不协调动作来进行伪造分类，但是现有伪造技术已经不存在这一问题。

二、研究动机
伪造视频经常表现出异常的面部动作和表情，同时随着时间的推移，面部也会产生细微变化。与纹理细节等低级特征相比，上述高级特征更能够抵抗压缩或模糊造成的检测干扰。

三、研究目标
1、将时间维度纳入考虑，利用talking faces在外貌和动作中蕴含的丰富信息进行伪造检测；
2、避免模型过拟合于现有伪造技术；
3、解决以往模型需要预训练的问题。

四、技术路线

提出RealForensics，分两阶段进行处理：
1、通过自监督的方式，利用图像信息和音频信息之间的自然对应关系，习得包含面部动作、表情、身份等信息的时间密集特征。
具体操作是：
（1）构建跨模态教师-学生网络，令学生网络预测另一模态下教师网络的输出。
（2）学生网络利用梯度反向更新；教师网络梯度截断，利用学生网络进行动量更新。


2、伪造检测模块将时间密集视频特征作为预测目标，并进行伪造分类任务。
具体操作是：
（1）分类器：对真实视频、伪造视频进行二分类。
（2）预测器：将参数固定的教师网络所提取的密集特征作为监督，令预测器的结果向其靠拢。


五、实验结果