MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential Deepfake Detection

一、研究背景
1.序列深度伪造检测旨在识别正确的操纵顺序并对伪造区域进行恢复。
2.由于操纵空间和操纵顺序具有不同的组合方式，伪造结果表现出巨大的差异，严重影响了检测性能。
3.伪造图像的恢复需要获知操纵模型的信息，但相关信息通常被攻击者隐藏。

二、研究动机
1.操纵区域的尺度和位置不同，特征金字塔网络可以检测尺度变化较大的目标。
2.特征金字塔网络的有效性主要来源于多输出结构，但计算开销大。

三、研究目标
构建更适用的特征金字塔网络。

四、技术路线

提出了多协作和多监督网络（MMNet），处理伪造图像中的各种空间尺度和顺序排列，并在不了解相应的操纵信息的情况下实现恢复。
1.多协作模块：挖掘空间和序列上的操纵痕迹

• 特征压缩：减轻通道维度的冗余
• 三类检测支路：捕获不同尺度的区域
• 自注意力机制：通过捕获不同面部区域之间的长程依赖，评估决策置信度