AI前线导读: 写代码用AI调戏AI,检测AI生成的虚假图片、视频?这现在已经成为可能了,因为能表征图片、视频的真假的特征很容易被检测出来。要怎么做呢?让我们一起来看看吧!
更多干货内容请关注微信公众号“AI前线”(ID:ai-front)
随着AI的崛起,人们已经可以用深度学习算法生成越来越多以假乱真的图片和视频。这也激发了美国的学者们的研究热情:如何设计算法检测出网络上用AI生成假图片、假视频,即所谓的“deepfakes” 呢?
生成对抗网络(Generative Adversarial Networks,GANs)是进行虚假图片、视频“创作”的法宝。这类神经网络可以帮助研究者们生成人造数据集(相关文章), 用以在数据集不足的情况下训练人工智能算法。这类网络还可以协助艺术家进行肖像创作(相关文章)。
然而,和所有的技术一样,这项技术也有其不好的一面。比如,网络上的一些恶徒可以利用这项技术,将明星、前女友、政客或其他受害者的脸合成到色情明星的身体上。计算机合成结果会非常逼真,就像受害者真的在做限制级动作一样。而且,让人头疼的不只是淫秽影片那么简单。人们可以利用AI生成假的采访视频或个人声明,再配合上AI生成的声音(相关文章), 让人与人之间从此没有信任。
现在,人们可以稍微松口气了。博士生李跃尊(音译)和纽约州立大学奥尔巴尼分校的助理教授刘思伟(音译)提出了一种新技术,可以识别深度学习算法(如开源项目DeepFake FaceSwap算法)生成的假视频。
目前,深度学习生成的假视频对于人类来说还不是那么难辨认。伪造的视频一般比较奇怪,人的面部表情不是很自然,而且动作会有延迟、不顺畅。而且,伪造的视频一般会比原视频分辨率低。因此,人们应该能很快意识到自己看到了假视频。然而,由于生成假视频的技术仍在不断发展,未来最好能有一种技术可以识别出假视频里的特征,从而提醒观看假视频却没有意识到的人。
检测深度学习生成的假视频
用计算机检测假视频,之前的做法是用一些特征作为基准,比如观察视频中人的眨眼情况,从而判断视频真假。这一般需要先训练一个GAN网络,然后利用这个GAN网络来训练其他网络以检测视频真假。
李和刘的方法却并不依赖于GAN网络,因此运行时间更短、需要的算力更低。首先,他们使用了计算机视觉中的传统算法来检测24,442张训练图像,并提取其脸部关键点。然后,他们会弯折或扭曲图像中的人脸特征,来模拟DeepFake生成的假图片、视频中可能会出现的怪异效果。最后,他们用真实的和扭曲的图像训练了一些卷积神经网络(CNN)作为分类器,该分类器可以给出一个视频为真还是为假的概率。训练完成后,他们向这些卷积神经网络中输入视频的截图,就可以检测这些截图中的人脸到底是真的还是伪造的。
“我们观察到,现有的DeepFake算法只能生成出分辨率有限的图像,这些低分辨率图像要经过扭曲才能扩展到和来源视频一样的分辨率。我们的方法就是基于这个观察。”李和刘在本月发表的一篇论文中这样解释道。
“这种变换是DeepFake算法所造出的假视频中特有的,而且我们证明,这种变换很容易被卷积神经网络捕捉到。”
二人将前述方法用到了四个卷积神经网络中。训练集包含49个真实视频和49个DeepFake算法生成的假视频。每个视频作为一个独立的样本,时长约为11秒。所有视频共有32,752帧。
由英国的牛津大学的研究者开发的老牌卷积神经网络——VGG16,在假视频识别任务中表现最差(精度为83.3%)。而更为流行的一个CNN——微软的研究者们开发的ResNet50,给出了高达97.4%的精度。
ResNet50的一些变种也表现得很好。ResNet101和ResNet152给出了95.4%和93.8%的精度,分别位列第二和第三。在将deepfake假视频看作一个整体的情况下,ResNet101表现最好(精度为99.1%),ResNet50次之(98.7%),紧接着是ResNet152(97.8%),而VGG16最差(84.5%)。
虽然这种检测方法很有前途,但研究者们目前还没有给出非常有意义的实验结果——他们的实验只是在他们精心挑选的图像和视频数据集上做的。换句话说,研究者们还需要在更多真实世界中的DeepFake视频上做实验,才能进一步验证他们的算法。另外,随着GAN网络技术的进步,假视频的质量也进一步提高,恐怕以后这种假视频的检测方法会越来越不适用。
“随着DeepFake技术的不断进化,我们也会继续改进这种检测方法”——学者们允诺道。“首先,我们会将多视频压缩的问题考虑进去,继续验证和改进我们算法的鲁棒性。其次,我们现在仅使用了他人设计好的网络架构(如resnet和VGG)。为追求更加高效的检测结果,我们会针对DeepFake视频检测任务设计专门的网络。”
原文链接:
https://www.theregister.co.uk/2018/11/06/fight_ai_deepfakes