AI 修复:抗美援朝影像

点击上方“机器学习与生成对抗网络”,关注星标

获取有趣、好玩的前沿干货!

‍‍   博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI

你对“历史”这个词的第一印象是什么?

很多人的脑海中最先冒出来的,或许是像下面这样粗糙颗粒、老旧模糊的黑白影片:

278eedb3ee6d864e9f9e3973ed41d3c1.gif

图源1951年纪录片《抗美援朝》

但现在,在AI修复技术的帮助下,那些模糊的影片也能被赋予色彩:

ce02573674f70045ffe15ab6d1406d60.gif

在听到最新一批在韩中国人民志愿军烈士遗骸将于9月2日被移送回国的消息之后,“AI修复师”大谷Spitzer便再一次用这种独特的方法,表达了自己的哀思。

而共青团中央官博也转发了这段AI上色后的特殊视频,并表示:

山河无恙,英雄不朽。

9fa4a8faa6c4de36b431d86420b3d8b8.png

历史并非黑白无声

就如同电影《你好,李焕英》中,那段仿佛“一脚踏入现实”的从黑白到彩色的镜头一样。

当这段70年前的纪录片染上色彩之时,我们这些观者也不禁有一种向历史踏近了一步的感觉。

有穿着绿色军装,扛着红旗前行的小战士们:

72ef160b0d0482c56b8bf8b35a6ce711.gif

有挤在绿皮火车上,与自己的亲朋好友告别的军人们:91aaef69275a2976b0ab91761a2c4d7d.gif

还有踩在黄色土地上,从鸭绿江上横跨而过的队伍:

679ee2fb907d4b9ac42ae9fd2939c9f6.gif

制作者大谷Spitzer表示,“每次修复这些历史影像,都能给我带来很大的震撼”。

b5177e6ecf41da87908c76ec27feb981.png

而在之前的“让革命先烈露出微笑”的项目中,他也解释了自己所认为的“AI修复的意义”:

我会把它定义成五分钟彼岸的一个概念。

就是说,在这种纷繁复杂的现代社会中,可能抽个五分钟去看一段古代的影像,或者以前的影响,看看当时的古人们是如何生活的,他们所思所想是怎样的。

f04f5a483ac9d1556e73100212c1e90a.png

AI如何修复

对于这次修复,大谷坦言,“技术难点在于多人物镜头的修复”。

因此,他使用了支持TensorFlow、Flink等多种计算框架的机器学习平台PAI

在平台中,他增加了更多参考帧,并与其他的AI上色分辨率提升模型进行拼合,最终达到了很好的修复效果。

0ba5a277d06e6e6fa39522f230e6d150.gif

而在之前的项目中,大谷Spitzer也对自己所使用的AI修复技术进行了详细解释。

比如,用于脸部高清增强的是GAN先验嵌入式网络,也就是GPEN(GAN prior embedded network)。

这一网络架构会将GAN先验网络嵌入到深度神经网络(DNN)中,并从中进行微调。

30c0d1bbcfb4ca8de58b2594c1cf275f.png

上色的则是基于NoGAN技术的DeOldify,这种新型的GAN训练模型能够解决视频中物体闪烁等问题:

ce6a891683a97e3d9ce85d37aa05c66e.gif

32d8ff9b82f78f082268d2547ef33f79.gif

此外,还有负责视频帧插值的RIFE,用于脸部生成的Artbreeder,以及增加分辨率的Topaz Labs。

那些相隔百年的对视

其实在AI修复技术愈发成熟的今天,已经有越来越多的项目开始用到这项技术。

比如大谷Spitzer在去年就做过“晚清时期的北京”影像修复,玩了一把百年前的“老北京Vlog”:

4a7853d2962f23eefd5d6b9938aa1b2d.gif

而今年五月四日,央视还在AI修复节目《彩绘中国·觉醒》中展示了一段彩色的五四运动现场:

41a1818f1415f8d805f660f350486520.gif

这一节目的执行编导说到他们为老影像进行修复上色的初衷,只是“想还原一段历史”。

因为当时的人们并非生活在黑白无声的世界里。

我们所有的努力就是想向老影像致敬并以电影的体验方式呈现出来,以此把观众带入到那段时空当中去,感受一百年前人们的精神风貌。

这也正像是这位网友所说的那样:

我们周围的高技术越多,就越需要人的感情。

c4b7150975dd024cd8a4f19de2d6deb9.png

最后附上完整视频:

参考链接:

[1]https://weibo.com/2395607675/KuLYKfPO7?filter=hot&root_comment_id=0&type=comment
[2]https://www.qbitai.com/2020/05/14211.html
[3]https://www.qbitai.com/2021/07/25886.html

版权声明

本文来源:量子位,版权属于原作者,仅用于学术分享

猜您喜欢:

等你着陆!【GAN生成对抗网络】知识星球!

CVPR 2021专题1:GAN的改进

CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总

CVPR 2021 | 图像转换 今如何?几篇GAN论文

【CVPR 2021】通过GAN提升人脸识别的遗留难题

CVPR 2021生成对抗网络GAN部分论文汇总

经典GAN不得不读:StyleGAN

最新最全20篇!基于 StyleGAN 改进或应用相关论文

超100篇!CVPR 2020最全GAN论文梳理汇总!

附下载 | 《Python进阶》中文版

附下载 | 经典《Think Python》中文版

附下载 | 《Pytorch模型训练实用教程》

附下载 | 最新2020李沐《动手学深度学习》

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 | 超100篇!CVPR 2020最全GAN论文梳理汇总!

附下载 |《计算机视觉中的数学方法》分享

870954cc39383fae531ba596ceea7678.png

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值