程序员用 AI 修复百年前的老北京视频后,火了!

公众号关注 “GitHubDaily”

设为 “星标”,带你了解技术圈内新鲜事!

最近,一个 “修复老北京街道” 的视频刷屏全网。


一段由加拿大摄影师在 100 年前的北京被 AI 修复后,活灵活现地展现在人们面前,一百年前人们打招呼的方式、使用的乐器、交通工具,在这段视频中,都清晰可见。


配上颇合时宜的音乐, 24 小时内,已经有了将近 50 万的点赞量,10 万多次的转发,接近 3 万的留言,看来周六大家也有在好好工作啊。

这个视频来自一位名叫 “大谷 Spitzer” 的博主,据他所说,接触老片修复是一个偶然,整个项目也只花了 7 天时间就顺利完成了

先来一起看看这惊人的修复效果。

老视频????

修复后效果????

修复后的视频把当时的北京城演绎的活灵活现,下边的片段中,左下角????小哥呆呆的看着镜头,连细微的表情都清晰可见,青涩中带有一点可爱,想象一下这位憨厚的小哥来自一百年前,还是让文摘菌感慨万千。

怪不得网友们纷纷赞叹。有网友表示,不仅整体氛围没话说,连细节部分也分毫毕显,“每个人脸上都是新奇又不敢接近的表情”。

甚至有网友留言表示,“博物馆应该收藏你的作品”

链接指路:

https://weibo.com/tv/v/J0ZsQnP6a?fid=1034:4502352820895785

博主在视频最开始就说道,想用技术为社会做一些有意义的事情,怀着仰慕的心情,文摘菌联系到了这位 “大谷 Spizer”,来看看他是怎么说的吧~

7 天完工,难在显卡!整体满意,颜色上还有不足

自称将 AI 视为业余爱好的大谷如今身在纽约,接受文摘菌采访的时候,他感叹道,自己做 AI 科普视频做了七年,没想到一下子火了,现在完全处于 “被信息淹没” 的状态

大谷透露道,其实这次接触老片修复纯属偶然,在搜索其他资料时候,偶然间在 YouTube 看到了人民日报上传的一段老北京视频,对其中对视镜头的部分十分有感触,“有一种穿越时空的感觉”。同时,一想到一百年前的人们有那个年代的思想,看问题的角度和现代有所差别,是很有趣的体验,自己恰好了解相关技术,为何不将老片上色补帧,做成活灵活现的 60 帧,和大家分享呢?

具体到操作上,根据大谷介绍,可以大致分为补帧、扩分辨率、上色三个环节,每个环节也都用了不同的工具,整体框架的流程则主要参考了 Denis Shiryaev 在社交媒体上分享的经验贴。

大谷说道,整个项目只用了 7 天时间,大部分都是硬性的时间消耗,比如补帧需要一到两天,扩分辨率至少一天,上色也需要花费一天时间,再加上要做到 4K60fps,渲染速度很慢。多方考量之下,他把人民日报 14 分钟的原片剪到了 10 分钟。

相比而言,去年国庆 164 分钟修复版《开国大典》让人们亲眼目睹三次战役胜利到开国大典的历史过程。除了借助 AI,胶片的撕裂、划痕等都是专业的修复师一帧一帧地修补。“修复过程中,我们 70% 的时间都在完成资料片镜头的修复工作。” 负责本片修复工作的三维六度公司的首席技术官周苏岳说道,虽然修复时间只用了 40 天,但这却是 600 人每天工作 20 小时的奋战结果

除了硬性的时间消耗,大谷还笑称,最大的问题就是自己笔记本电脑的显卡不够好,“要 1070 的显卡才带得动,否则会 out of memory”,迫不得已之下向女朋友求了助。

再困难的部分,大谷选择了谷歌的 Colab Notebook 在线系统,通过远端分配一台带显卡的电脑,就无需在本地操作了,“这也是选择开源 AI 的原因”,“很多开源的 AI 都会把代码上传上去”。

对于最后的结果,大谷表示,“还是比较满意的”,不过在颜色上还存在可以改进的地方

在视频中,相信大家也会看到时不时会出现颜色跳来跳去的情况,大谷表示,在补帧之前用工具把老电影中经常出现的画面闪烁去掉了,否则会更严重,整体的色彩上,AI 的渲染效果也明显偏淡

除此之外,大谷这次利用的是国外的一套模型,显然无法直接将其套用到 100 年前的中国影片修复上,在颜色上就无法做到历史性的准确,视频中的上色都是 AI 学习的成果,虽然肤色大致还原了,但是在红绿服装等方面的真实性还有待商榷

也正是考虑到这些不足,大谷对去年参与《开国大典》修复的工作人员表达了敬意,“AI 没办法做到艺术家那么准确,尤其是在历史方面,而《开国大典》对历史准确性的要求更高”,随后他也打趣地说道,或许可以 “让 AI 看看清宫剧,提升一下准确率”。

就像大谷在视频开头所说,他想用技术做一些对社会有意义的事,在这次视频爆红之后,他表现得相当豁达,“太深刻的大意义倒也说不上”,主要是想借此让人们对历史有所反思不少网友指出,视频中几乎看不到女性,这正是历史生动性的体现,既有光鲜也有不足,让大家意识到现在的生活是多么来之不易

同时,作为老北京人,大谷也想通过视频分享他的切身感受,让更多人看到一百年前的民俗,尤其是上了色帧数提高之后,“感觉确实不一样,也感慨这一百年的变化”。

对于目前收到得反馈,大谷表示 “完全没想到”,他看了很多评论,也受感触于一些留言,还有人私信向他表示,给太姥姥看后,也很怀念那个年代。

大谷透露道,这其实是他第一次尝试做视频修复,后续或许会出一期视频介绍一下具体的操作。对于后续的视频更新计划,他想要介绍一下国内已经成熟的语音修复技术

目前,大谷在研究一款换衣 AI,通过把模特导入系统,在 Photoshop 里换好衣服,就能生成模特穿上衣服的各种姿势,听上去是淘宝卖家会喜欢的 AI。不过,大谷介绍道,这个 AI 目前还处于 “婴儿状态”,精度上不是很乐观,未来需要大量的训练,以后或许也会做个视频介绍一下。

AI 助力,老片修复一直在路上

对于这次用到的技术,大谷表示,上色主要还是应用在黑白照片和电影上,补帧技术就可以遍地开花了,比如修复像素动画的跳帧问题,或者在动画领域加以应用,因为动画很多是 12 帧 / 秒,甚至 6 帧 / 秒,补帧之后效果很好,也终于可以看更流畅的 EVA 了。

作为一名独立游戏开发者,大谷透露道,因为一个人做游戏开发,接触到 AI 是想要了解 AI 能否为他节省时间,后来发现 AI 能做的不止这些,在社会公益上也有不少应用,比如老片修复。

正如大谷所说,这次的视频修复 “技术管线参考自 Denis Shiryae 的影像修复教程”,针对 Denis 的欧美老片修复,大谷也做过汉化视频进行了专门的介绍

视频链接:

https://www.bilibili.com/video/BV1Uf4y1m72n

Denis Shiryaev 通过神经网络修复老视频的内容今年在油管爆红了一阵子,他使用 Topaz Labs 的 Gigapixel AI 和 DAIN 图像编辑应用程序将 1896 胶片缩放到 4K 分辨率,不仅将素材增加到 4K,还将帧率提高到每秒 60 帧

Shiryaev 最火的作品是用 Gigapixel AI 将 1896 年拍摄的 50 秒无声短片《火车进站》(the Arrival of a Train at La Ciotat Station) 做成了 4K 格式,把模糊的原片做成了高清画质,完全符合当下的高清视频标准!

尽管存在一些缺陷,如图像会出现跳跃或某些细节依旧模糊,但已经很棒了!为了使这一作品更加完整,Shiryaev 还为这部无声电影添加了声音。

这些图像是通过生成对抗网络 (GANs) 得来的

科普一下,GANs 是由两个相反的神经网络组成的。第一个网络基于训练对象的数据生成对象,而第二个的作用是确定对象的真实性。第一个网络通过不断尝试,直到它的作品完美到足以欺骗第二个网络。通过这种方式,才得以生成最有可能的图像。

Gigapixel AI 软件使用一种专有的插值算法来分析图像,它可以使图像更清晰,甚至在放大了 600% 之后。

再来说说 DAIN (深度感知视频帧插值),它可以将帧想象并插入现有视频剪辑的关键帧之间。换句话说,DAIN 首先分析并映射视频片段,然后插入在现有图像之间生成填充图像。这与 4K 电视的运动平滑功能是同一个概念。为了在这段 1896 年的视频中达到同样的效果,Shiryaev 添加了足够多的图像来将速度提高到 60 帧每秒。因此,DAIN 自动生成,然后在最初记录的 24 张图像之外,每秒添加 36 张额外的图像。

Shiryaev 的 “火车” 的视频修复版本看起来像是一部使用智能手机或 GoPro 拍摄的最新电影。与原始视频相比,效果非常惊人,尤其是在新版本中获得了流畅性。列车上的阳光反射和月台上的女士珠宝都被记录的很完整,也许是最显着的改进之一。

Shiryaev 也用神经网络对这一修复视频进行了着色:从一堆彩色照片开始,将它们转换为黑白,然后训练神经网络以重建彩色原稿。

修复后的视频传送门:

https://youtu.be/EqbOhqXHL7E

Shiryaev 的新技术也因此在技术圈火了起来,激发了包括大谷在内的更多技术人,修复珍贵的影像文献。

除了上文提到的《开国大典》,在老片修复上,“中影・神思” 的开发,能缩短修复电影所需时间的四分之三,成本可以减少一半,目前已成功应用于《厉害了,我的国》《血色浪漫》《亮剑》等多部影视剧的图像修复与增强当中。

爱奇艺也推出了其自主研发的视频增强技术 ZoomAI,为电影修复提出解决方案,这是业内第一个利用较低成本、将深度学习技术应用在视频画质增强场景中的方案。

但不可否认的是,这种技术如果被有恶意的人使用,例如,可以用于制作 “伪造品” 并允许视频中的身份盗用,也会导致巨大的社会问题。

遍地开花的大谷:AI 在游戏领域完全可以大展拳脚

往前翻翻大谷的微博会发现,他做了很多有趣的小项目,比如 AI 足球队,大谷介绍道,他用了 Unity 的 AI 系统 MLagent 来训练球员,这些球员从最开始什么都不会到最后互相配合,到现在他已经打不过了。大谷感叹道,“AI 在游戏领域完全可以大展拳脚”

大谷想用 AI 把这款游戏做得更具体,比如做成回合制。大谷相信,如果训练时间足够,可以让 AI 学会怎么包抄、怎么做战术防略,以往的游戏 AI 很傻,玩家操作好就能赢,但如果用 AI 训练 AI,它就会狡猾很多,什么战术都能用上,会有很神奇的化学反应。

大谷还介绍到,Unity 最近推出了一个新的 AI 系统 Artengine,主要是做游戏帖图的,在生还者、战神一类的游戏中,草、岩石等贴图之前还需要人去画,或者用照片修剪,但是 Artengine 可以复制不同的岩石图片,在花纹上会显示出差别,或者接合图片时,对图片中间的接缝可以凭经验把接缝涂掉。“有了 AI,就可以做很多以前一个人难以实现的高分辨率的游戏场景”。

自称 “程序员里最会画画的作曲家”,大谷也介绍了一些绘画和音乐领域上的 AI 应用。

在游戏音乐上,大谷表示,OpenAI 的 MuseNet 十分强大,只需自己作前两小节曲子,就可以让 AI 自动补完后续,而且风格可以自选,莫扎特、巴特,都不在话下。

在绘画上,大谷之前专门做了一期节目介绍绘画 AI,比如英伟达的 GauGAN,不少原画师都用这个来画背景;再比如 Artbreeder,这个网站能 “杂交” 输入模型,生成超现实主义风格的离奇图案,但同时又十分写视,很多艺术家在网站上进行创作,生成的作品可以商用也可以开源。

比如大谷透露道,之前他用 Artbreeder 合成了诸葛亮和灭霸,效果很棒。心痒的文摘菌也去试了一下,不过在这里先卖个关子,大家可以猜猜这是怎么 “杂交” 出来的。

---

另外,由 GitHubDaily 原班人马打造的公众号:GitCube,现已正式上线!
接下来我们将会在该公众号上,为大家分享优质的计算机学习资源与开发者工具,坚持每天一篇原创文章的输出,感兴趣的小伙伴可以关注一下哈!

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读