利用双对比学习模型DCL鉴别视频中伪造的面部

©作者 | Doreen

01 背景介绍

随着图像改造技术在深度学习的支持下飞速发展，出现了各种各样“换脸”的操作。这些伪造的面部在程序的优化下达到了以假乱真的效果，随之也带来了一些侵犯肖像权等潜在的问题。

早期的面部伪造探测技术主要集中于一些人工合成的特征（例如：眨眼，不同的头部姿势等），研究人员通过实验发现真实面部和伪造面部在频域上有差异，因此出现了利用频率作为线索在深度学习框架下进行面部鉴伪。

虽然该类方法在训练数据和测试数据属于独立同分布的情况下取得了理想的结果，但在测试数据中出现不同场景下的面部，其鉴别能力将大受影响。因此，一个普适的面部鉴伪方法成为了研究的焦点。

目前广泛使用的方法来源于图像分类模型，强调了种类间的差异，但缺乏对真假面部的本质差异的关注。

针对这个问题，作者提出了一个双对比学习模型，通过在一定程度上增加伪造面部的不一致性提升了模型的泛化能力。

02 方法

双对比学习模型（Dual Contrastive Learning）的结构图如图1所示。

首先通过DVG（Data views Generation）进行数据增广，生成不同视角下的输入图像。然后利用对比学习模块对输入图像进行特征提取。最后分别利用Intra-Instance和Inter-Instance两个模块组织特征的分布来增加伪造面部的不一致性。