超级会员免费看
该研究提出了一种名为自混合图像（SBIs）的方法来检测深度伪造，通过合成带有特定伪影的图像，促进模型学习更通用和鲁棒的表征。SBIs生成四种类型的伪影，包括坐标点不匹配、混合边界、颜色不匹配和频域不一致，以模拟真实世界的伪造情况。实验结果和分析强调了制造统计学不一致对于创建更具挑战性的样本和提高检测能力的重要性。
一、研究背景
- 由于过拟合于训练时见到的特定伪影，在单个数据集上性能良好的方法在跨数据集测试时会产生性能骤降。
- 利用合成数据可以促使模型习得更通用的表征，以此解决上述问题。一种合成方法是通过模糊面部区域来模拟伪影，另一种合成方法是通过两张原始图片合成混合图像来生成伪影。
- 随着生成技术的发展，前一种方法逐渐失效，后一种方法也难以应对低质量视频（高压缩率或过曝）中的难识别伪影。
- 频域特征和特定表征都可以用来进行伪造检测，但是仅学习特定表征是不够的。
二、研究动机
5. 更具一般性和更难以识别的假样本可以促进分类器习得更通用和鲁棒的表征，使模型不会过拟合于某些方法特有的伪影。
6. 用不同图片生成混合数据会产生不正常扭曲，这种带有明显伪影的简单样本会阻碍模型学习鲁棒特征
7. 通过单张图片混合不存在相似坐标点搜索的步骤（寻得更匹配的原图、目标图，有利于提高生成质量）。
8. 随着优化，GAN生成的源图像会越来越像目标图像（坐标点和像素，从损失角度思考）
三、研究目标
- 令模型关注到主动生成的伪造痕迹（被篡改人脸区域与背景区
订阅专栏 解锁全文
扫一扫
2443
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
