LAA-Net: Localized Artifact Attention Network for High-Quality Deepfakes Detection

一、研究背景
1.现有深度伪造检测方法使用真伪数据通过DNN进行训练，仅利用全局特征使其在面对未知伪造手段时泛化性能较差。
2.现有方法大多通过注意力机制隐式建模细微的不一致性，但是并没有考虑到泛化问题。
3.现有处理泛化性的手段主要为多任务学习和伪合成，但面对高质量深度伪造样本时二者的效果并不鲁棒。

二、研究动机
1.现有特征提取架构倾向于提取全局特征，因此需要提出能捕获局部细微特征的机制。
2.任何生成方式都存在混合伪影，因此将携带混合伪影的像素视为敏感点（Vulnerable points）。
3.伪造痕迹不仅会表现在单个像素点，也会影响其周边地相邻像素，因此可同时编码敏感点和其相邻点。
4.特征金字塔网络可以用多尺度的低级特征补充全局特征。

三、研究目标
通过设计泛化性强的注意力模块来同时解决深度伪造检测和其泛化问题。

四、技术路线
利用伪合成技术辅助多任务学习框架，并引入显式的细粒度注意力机制。

1.Explicit Attention to Vulnerable Points：结合热图支路和自一致性支路，显式关注敏感像素点。

• Blending-based Data Synthesis：利用数据混合手段模拟伪造数据，生成热图标签和自一致性矩阵，实现敏感像素的非人工注释。