对电影制作是一大福音！Recycle-GAN 研发出能简单转换影像新技术

近日于德国举行的欧洲计算机视觉会议 ECCV 2018 上，卡内基美隆大学（CMU）研究团队展示出它们设计的图像处理方式，可以自动将影片中的内容转换为另一个影片的内容，不只是人们面部表情，甚至连花朵的绽放、云朵的移动都可以进行转换。

由于团队设计出的方法不需要人为干预，因此可以将大量影片快速转换，同时也可用于将黑白影片转换为彩色，或替 VR 体验创造内容，因此对于电影制作来说可说是福音。

CMU 机器人研究所博士生 Aayush Bansal 表示，他协助设计这种算法的主要动机，就是协助相关电影制作能够更快、更低成本的进行。「这是艺术家的工具，给予他们一个初始模型可以自行改进。」

当然 Bansal 也不讳言的表示，这项技术确实有被用于「deepfakes」的可能──所谓的「deepfakes」，指的是影片中未经许可置入某人的影像，使得那个人看起来已经完成或说出一些不合时宜的事物。

「对于这个领域的所有人来说，造假可以如此进行且具有影响力是非常惊人的，找到方法去发现它们将会是很重要的进展。」

团队使用的技术是基于生成对抗网络（GANs），其中鉴别器（discriminator）用来学习检测图片或影片的内容是否一致，而生成器（generator）则是用来学习如何创造符合某种风格的图片或影片；在这两种模型激烈竞争之下，系统最终就会懂得如何将内容转换成某种风格。

而在 GAN 的相关应用上，CycleGAN 是相当受到欢迎的一种变体应用，这项 2017 年出现的技术已经证明能有效将图片转换为另一种图片的样式，然而在整体影像转换上仍具有一些瑕疵存在。

为了应对这样的问题，研究人员开发了名为 Recycle-GAN 的新技术，不只是空间信息，同时也将额外的时间变化纳入考虑，进一步限制转换的过程并产生了更好的结果。

在研究人员的测试影片中可以看到，Recycle-GAN 可以自由的将两位脱口秀主持人的影片相互套用，让 John Oliver 做出 Stephen Colbert 的表情，反之亦可以让 Colbert 说出 Oliver 口中的话。

而将真实人物的表情转换为卡通人物也可轻易做到，不仅是面部表情，表演的动作和节奏也都可以进行。同时除了人以外，甚至是将花朵以其他花朵的盛开形式绽放、将天空中云朵的移动转换为另一种天气的情况，类似的改变都能够轻易做到。

Bansal 认为，这种效果对于能在夜间或恶劣天气驾驶的自驾车来说很有用。因为要获得能识别物体的夜景、暴风雨天气的影像非常困难，而 Recycle-GAN 则可以将容易获得、识别物体的日间场景转换为夜间或暴风雨场景，提供自驾车影像来训练面对这些情境的操作。
文章转自：http://room.e-lotus.org/sitemap.html

转载于:https://my.oschina.net/u/3885866/blog/2209585