一、研究背景
1.大量工作将深度伪造检测作为一个二分类任务并取得了良好的性能。
2.理解模型如何在二分类标签的监督下学习伪造相关特征仍难是个艰巨的任务。
3.视觉概念:具有语义的人脸区域,如嘴、鼻子、眼睛。
二、研究目标
1.验证假设,并从图像匹配的角度评估视觉概念的关系,以此解释检测模型的预测结果。
2.解释深度伪造检测模型如何在二分类标签的监督下学习伪影特征。
3.习得更好的检测模型,提高在压缩视频上的伪造检测性能。
三、研究动机(3种假设)
1.检测模型将既不与原图相关也不与目标图相关的视觉概念看作是与伪造相关的视觉概念,性能良好的检测模型应该基于源/目标-无关的视觉概念来判断真伪。
2.在标签的监督下,伪造-原图-目标图匹配可以帮助丢弃伪造无关视觉特征,隐式学习伪造相关的视觉概念。
3.利用原始训练集进行图片匹配习得的视觉概念容易受到视频压缩的影响。
四、技术路线
假设1:
- 设计源编码器 v s v_s