一、研究背景
1.大多数深度伪造检测器在未知域的性能急剧下降。
2.依赖于局部伪影、混合边界、全局纹理和频率级伪影的方法容易过拟合于训练集。
3.预处理、数据增强和减少频率级伪影可用来构建鲁棒的检测器,但是,仍然需要对生成模型构建更具泛化性的表征(梯度)。
二、研究动机
1.梯度可以突出目标任务中的重要像素,因此可以作为伪造检测任务的线索。
2.预训练梯度模型可以过滤掉图像内容,只保留与预训练模型的目标任务相关的鉴别性像素,使得到的梯度更依赖于预训练模型,而不是训练数据,从而可以提高检测器在未知域的性能。
三、研究目标
1.设计泛化性表征(梯度)来描述生成模型产生的伪影。
2.将数据驱动问题转换为模型驱动问题,通过引入转换模型,增强检测器的鲁棒性。
四、技术路线
提出梯度学习(LGrad)框架,将依赖于数据的问题转化为依赖于转换模型的问题;采用预训练CNN作为转换模型,将图像转换为梯度,利用梯度来表征泛化性伪影。
1.Transformation to Gradients
- 将图片输入转换模型
- 计算梯度
五、实验结果