Deepfake图像攻防
1.Deepfake是什么
Deepfake是一种使用AI技术生成的以视频和音频为主的伪造媒体,它们看起来或听起来非常真实,但实际上是由计算机根据音视频生成的。这种技术通常涉及到深度学习算法,特别是生成对抗网络(GANs),它们能够学习真实数据的特征,并生成新的、逼真的数据。
深度伪造技术通常可以分为四个主流研究方向:
- 面部交换专注于在两个人的图像之间执行身份交换;
- 面部重演强调转移源运动和姿态;
- 说话面部生成专注于在角色生成中实现口型与文本内容的自然匹配;
- 面部属性编辑旨在修改目标图像的特定面部属性;
2.如何识别Deepfake?
可以通过以下逻辑步骤进行人工识别Deepfake的图片:
- 首先,观察图片的细节。仔细检查人物的面部特征,尤其是眼睛和嘴巴,看是否有不自然的眨眼频率或口型与说话内容不同步的现象。
- 接着,检查光线和阴影。分析图片中的光源是否一致,阴影的方向是否与光源相符,不自然的光线或阴影可能是图片被修改的迹象。
- 然后,分析像素。放大图片,寻找是否有模糊或像素化的部分,这可能是Deepfake技术留下的瑕疵。
- 此外,注意背景。检查背景中是否有不协调的元素,比如物体边缘是否平滑,背景中是否有不自然的重复模式。
3.Baseline
根据入门指南中的指导手册,按照步骤依次进行即可完成baseline的运行得到输出果,主要使用了resnet18作为训练网络,采用预训练、图像增强等方式提高模型的泛化能力。
之后,在baseline基础上,替换网络结构为efficientnet,epoch为5,批量大小为32,采用adam优化器,训练集跟验证集按照5:1的比例分别扩大到50000和10000张,在五个训练周期中识别准确率大幅度提升,为之后进一步优化提供方向。
参考资料:Datawhale学习指南。