论文：Representative Forgery Mining for Fake Face Detection

Tags: 注意力机制, 神经网络, 视频检测
年份: 21年cvpr
论文地址：https://arxiv.org/abs/2104.06609
代码：https://github.com/crywang/RFM

摘要

提出了一个基于注意力的数据增强框架来指导检测器细化和扩大其注意力。我们的方法跟踪和遮挡面部Top-N敏感区域，鼓励检测器深入挖掘之前忽略的区域，以获得更有代表性的伪造结果。

介绍

人脸特征点检测（vanilla CNN）倾向于从脸部的有限区域内检测，而人类倾向于整个面部。

现在三个方向:

a)通过提取由操作技术缺陷产生的数字指纹，对cnn生成的面部图像实现了先进的泛化性能;

b)部分作品将人脸划分为多个patch并进行独立检测，强制优化了探测器对假脸的感知场。

c)利用精心设计的训练数据集，利用同源真假人脸之间的差异来指导检测器学习假人脸上的伪造信息，从而进一步实现伪造可视化。

方法

基于注意力的数据增强方法：代表伪造挖掘(RFM)，通过在训练过程中精炼训练数据来解决有限注意力问题。

包括两个步骤:

1)利用检测器的梯度生成图像级的伪造注意图(FAM)，可以精确定位面部的敏感区域;

2)利用可疑伪造消除(Suspicious Forgery erase, SFE)有意遮挡面部的Top-N敏感区域。

该方法通过将检测器的注意力从过度敏感的面部区域解耦，实现了具有先进水平的检测性能，并显著保持了对仅包含少量技术伪造的人脸的检测性能。

RFM过程：

分为三个部分。首先(在步骤1、2中)，我们为单个小批的每个原始图像生成FAM。然后(在步骤3和步骤4中)，我们利用SFE在之前生成的FAMs的指导下对原始图像进行擦除。最后(在步骤5和步骤6中)，我们使用被擦除的图像作为输入来训练检测器

• FAM

找到最敏感的区域，将最敏感的区域定义为扰动对检测结果影响最大的区域。

正向传播，检测器输入一张人脸图像I，输出两个对数Oreal和Ofake衡量图片真假。结果由两个对数的相对大小决定。${\Delta }_I{O}_{real},{\Delta }^{}$