机器之心报道
经机器之心授权转载
机器之心编辑部
识别 PS 照片的问题，还是需要依靠推出 PS 的公司 Adobe 来解决。
现在的社交媒体上充斥着各种自拍，而且其中大部分人物都长得挺好看。但大家心知肚明的是，这些照片大多被 P 过。有很多人甚至因为 P 得一手堪比「整容」的照片而走红。
虽然只是出于爱美之心，但不可否认的一个事实是，这些「照骗」的盛行，的确让我们对社交媒体的信任日渐下降。
随着技术的发展和流行，制作这种假照片的门槛越来越低，几乎人人都可以是修图大师，更不用说手机厂商和科技公司已经有实时 AI 美颜技术了。
如果有人利用 P 过的图来行骗，成功率估计也会相应提高。
那我们要如何识别这些被 P 过的照片呢？
众所周知，PS 是美国公司 Adobe 推出的一款专业图形编辑软件 Photoshop 的简称。自 1990 年发布之后，Photoshop 已经成为创造力和艺术表达进步的重要组成部分，甚至广泛影响了我们的视觉文化。但谁曾想到作为「万恶之源」的 Adobe 也在研究破解 PS 的方式。
最近，Adobe 的研究人员和来自 UC Berkeley 的合作者开发了一种检测图像 PS 痕迹的方法。该方法效果如何呢？请先看下图：
如果对比左右两张图，你可能会发现右图的脸颊更宽，而左图中更瘦，尤其是靠近下巴一块；右图的嘴角下垂，而左图嘴唇是微笑的状态。
但如果只看左图呢？你能看出来脸颊被 P 过的痕迹吗？可能下巴左边 P 得过了点，往里凹了一块，有点明显；但右边 P 得算是不错了，不太明显，小编看了半天才发现（可对比右脸下方边缘至旁边白色圆圈的距离）。
但是你看中图的检测分析，该方法圈出了右边嘴角和左脸颊下方的 PS 痕迹，且右脸颊下方用红色标注了。
此外，研究人员通过实验对比发现，人工检测 PS 照片的准确率仅为 53%，而他们提出的方法检测 PS 照片的准确率高达 99%。
准确率对比。
算法原理
这项研究利用卷积神经网络识别「修」过的人脸图片，由 Adobe 研究科学家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 与 Alexei A. Efros 参与完成。
Adobe 之前对 PS 图像的检测工作主要集中在拼接、移除、复制方面，而这项研究主要针对 Adobe Photoshop 自带的功能「脸部感知液化」（Face Aware Liquify）。
脸部感知液化可以先识别人脸五官，然后用户可以使用它进行相应的修改，如眼睛大小、额头宽窄、瘦脸、鼻高等，还可以轻松调出微笑唇。
Liquify 工具堪称修图神器，而且使用起来也非常简单。
果然是「以子之矛攻子之盾」啊，Adobe 这项新研究对自己之前推出的「美颜」功能下手了！
根据 Adobe 博客介绍，这项新研究试图解决以下基本问题：
是否可以创建一个比人类识别「修图」还可靠的工具？
该工具能否指出到底「修」了哪儿？
能否撤回对原图的「修改」？
还是以上文的人脸图像为例，右一为原图，左一为 PS 后的图像（Manipulated photo），左二展示了 Adobe 这项新研究的功力：它发现了修图的具体位置（Detected manipulations），那么右二是什么呢？
仔细观察右一和右二，区别大吗？
Adobe 这项新研究把修过的地方又修回去了！
对比左一、右二和右一，可以看到，三张图存在一些细微差别。三张图的嘴角弧度不同，原图很明显是下垂的，而修过的图片则是微笑唇，撤销修图后的图片嘴角弧度则处于中间状态。
这些图像被 P 过吗？
研究人员训练了一个卷积神经网络，以识别出修改过的人脸图像。具体而言，他们使用为 ImageNet 分类任务训练的 ResNet50 [13] 架构，然后针对该任务进行微调。
另外，他们通过编写 Photoshop 脚本创建了图像训练集，以在数千幅抓取自网络的照片上进行脸部感知液化调整。
研究人员随机选择这些照片的子集进行训练。他们还请了一名美术师来手动修改一些图像，并将这些图像混入了数据集中。这样的做法拓宽了测试集中图像的修改和技术范围，超出了那些合成图像。
该研究所用数据集的具体数据。
训练数据集中的随机样本示例如下图所示：
Adobe 研究人员 Oliver 表示：「我们首先向人们展示一对图像（修改前和修改后），他们知道其中一幅图像被修改过。若我们的方法能够行之有效，那它在识别编辑过的人脸时效果应显著优于人类。」
实验对比发现，人工检测 PS 照片的准确率仅为 53%，而他们提出的方法检测 PS 照片的准确率高达 99%。
到底动了哪儿？能还原回去吗？
这个工具还能确定面部修改的特定区域和方法。此外，在实验中，该工具可以将修改后的图像还原至它们初始状态，还原效果相当不错。
具体而言，研究人员预测从原图 X_orig ∈ R^(H×W×3) 到修改后的图 X 的光流场（optical flow field）Uˆ ∈ R^(H×W×2)。之后，研究人员尝试「撤销」修改，将图像恢复为原图。
研究人员训练了一个光流场预测模型 F 来预测像素扭曲场（perpixel warping field），衡量其与每个样本真实光流场 U 之间的距离（通过计算原图和修改后的图之间的光流得到）。
下图展示了光流场的一些示例。
损失函数公式如下所示：
其中，X 是修改后的图像，U 是真值光流场，L_epe 表示光流场之间的误差。
研究者试图使光流场更加平滑流畅，于是使用以下损失函数：
UC Berkeley 的教授 Alexei A. Efros 说道：「这听起来似乎是不可能的，因为面部几何形状存在着大量的变化。但如果深度学习能够查看低级图像数据（如扭曲伪像）和高级线索（如面部布局），那这种方法似乎是行之有效的。」
那么如何「撤回」对图像的修改呢？
我们现在已经预测到了原始图像到修改图像的光流场，基于此，就可以通过「逆扭曲」来恢复原图。重建损失函数为：
而直接使用该重建损失函数会导致低纹理区域出现模糊和伪影，于是研究者联合训练以上三个损失函数：
总之，在架构层面上，研究人员使用在 ImageNet 数据集上训练的 Dilated Residual Network variant (DRN-C-26) [37] 作为基础网络，来进行局部预测。
至于光流场回归网络，研究者首先将该问题重塑为多项式分类，然后再针对光流场回归进行微调。在计算真值光流场时，研究者使用的是 PWC-Net [32]。
应用何时上线？
Richard 补充道：「制作一个神奇的「撤销」按钮来恢复图像编辑的想法离现实还很遥远。但在我们生活的这个世界里，人们越来越难以信任自己消费的数字信息，所以我们非常期待这一领域的进一步研究。」
我们看到的明星照片大多经过了 PS。
与此同时，Adobe 正在进行大量研究项目，以帮助验证自身产品所创建的数字媒体的真实性，并识别和阻止滥用现象。
Adobe Research 负责人 Gavin Miller 表示：「该方法在检测某些类型的图像编辑领域迈出了重要一步，同时撤销功能的效果也出奇得好。但除了这种人脸识别方法，有经验的公众才是最好的图像鉴定者。」
Adobe 目前还没有立即将这项研究成果转变为商业产品的计划，一位发言人表示，这只是 Adobe 在更好地检测图像、视频、音频和文档操作方面的众多努力之一。
不过算法已经推出，应用还会远吗？看来解决 AI 造假的问题还是要靠 AI。
参考内容：
https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/
https://www.theverge.com/2019/6/14/18678782/adobe-machine-learning-ai-tool-spot-fake-facial-edits-liquify-manipulations
https://arxiv.org/pdf/1906.05856.pdf
【免费】某机构最新3980元机器学习/大数据课程高速下载，限量200份
长按扫码撩海归
1078
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
