《Detecting and RecoveringSequential DeepFake Manipulation》

论文出处：2022ECCV

论文主要贡献：

1.提出了多阶段的深度伪造检测课题。

2.创造了用于多阶段深度伪造检测任务的数据集。

3.提出了一种基于transformer的网络架构，实现了多阶段深度伪造检测任务。

主要架构：

作者将整个任务看成是一个Image-to-sequence的任务。首先将一张图片传入ResNet网络中用于深度伪造特征的提取，将提取的特征按照通道进行token初始化(将每个通道的特征图拉成一个一维向量)并加上对应的位置编码，传入Transformer Encoder中利用自注意力实现全局特征的交互，得到空间特征痕迹。将该特征传入解码器中同初始化的操作序列token进行一个交叉注意力(在这里因为操作的步骤可能对人脸局部特征有特定的影响，故作者提出了一种空间增强的交叉注意力)，通过对初始化的操作序列进行两个全连接网络的特征提取，得到该操作方法在特征图中的中心点坐标以及操作尺度大小的坐标，然后得出空间权重图(该图的主要作用就是增大操作方法对应特征图中局部区域的数值，从而加大注意力分数，最终便于多分类操作)。最后将交叉注意力得到的token序列传入FFN网络中进行一个多分类任务，最终根据输出的分数即得到最后的序列输出。