2024-arxiv-Detection and Localization for Deepfake Videos with Randomly-Located Tampered Traces

提示：这篇论文错误较多，公式不全

一、研究背景
1.明确指出伪造区域可以让用户更加信任检测结果，而以往工作忽略了可以用重建结果定位伪造区域。
2.不同伪造方法用不同形式随机修改不同面部区域，因此难以通过前一帧或其他伪造图片来进行结果预测。
3.同时利用真伪标签训练会造成模型过拟合。

二、研究目标
在检测面部伪造的同时定位伪造区域。

三、研究动机
1.不同面部单元之间存在一致性，因此重建伪造图片的难度大于重建真实 图片的难度，而随机屏蔽会阻碍全局一致性的学习。
2.高屏蔽率会导致重建伪影。
3.伪造痕迹会出现在随机区域，因此屏蔽区域的伪造痕迹难以预测。模型仅习得真实模式，未屏蔽区域的伪造痕迹难以恢复。

四、技术路线

1.恢复阶段：仅利用真实数据，随机屏蔽区域，若能习得各面部区域的内在联系，真实面部图将得到较好的恢复效果，伪造面部图将得到较差的恢复效果。

• 重建质量度量
  
• 较高的$R{E}^r$分数表示较高的重建质量，$0<R{E}^r<1$
  $A^{rr}=R{E}^r\times A^{or}$
• 模型微调
  丢弃解码器，用原始真伪数据对编码器进行微调
  

2.定位阶段：用恢复阶段的输出和伪造区域掩模图作为监督，指导定位过程。

• 用元学习方法避免过拟合，元训练和元测试阶段具有不同伪造模式。
• 利用前三层残差网络，并拼接输出
• 对重建结果进行映射，并用得到映射图$A^{mr/f}$做分类；较高的$M{A}^{r/f}$代表匹配质量
  $A^{mr}=M{A}^r\times A^{rr}$
  $A^{mf}=M{A}^f\times A^{rf}$
• 为扩大原始真实数据与原始伪造数据之间的差距，需满足：
  
  即：
  
  并用$L_{mse\_map}^b$约束$A^{mr}$与$A^{rr}$一致，以保证$M{A}^r\gg M{A}^f$
• 用$L_{mse\_loc}^b$约束预测定位与真实定位相近

3.损失