炫酷！AI 修复 100 年前晚清影像上热搜，有穿越内味儿了

最新推荐文章于 2022-06-20 16:00:00 发布

Python大本营

最新推荐文章于 2022-06-20 16:00:00 发布

阅读量401

点赞数

点击上方“Python大本营”，选择“置顶公众号”

Python大本营  IT人的职业提升平台

整理 | 夕颜

出品 | CSDN（ID：CSDNnews）

昨天，一条“100 年前北京晚清的影像”喜提热搜，博主用 AI 技术修复了一段 10 多分钟的古董视频，使得 100 多年前老旧的黑白影像变得更加清晰，甚至有了颜色。

AI 还原100 年前晚清影像

这段时长 10 多分钟视频使用了 AI 修复技术，评论中有人表示，隔着屏幕与画面中的人物对视，恍然间有种时空交错的感觉，很神奇。对着这段视频仔细观察的笔者，其实也产生了这种恍惚的感觉。

除了被修复的珍贵影视资料本身，笔者更加关心的是修复影像背后使用的神奇 AI 修复技术。

在微博 Up 主的文案标明，修复影像的技术管线参考自开发人员，同时是一名 YouTuber 的 Denis Shiryae 上传的影像修复教程。

循着这个线索，笔者发现原来这位大神早就在 YouTube 上发布过一些关于 AI 修复影像的视频。比如这段用神经网络对 1906 年大地震前的旧金山影像进行修复的视频，解说中说到，他只做了一套神经网络工作流来做视频的修复与像素倍增，其中用到了 DAIN 进行帧内插，ESRGAN 在自定义数据集上进行帧升级，然后用 DeOdify 来做视频着色，这些算法都是公开的，感兴趣的话都可以搜索软件，然后搞事情。

另外，Denis 修复的一部 1896 年的黑白短片 The Arrival of a Train at Station 项目也非常有趣，同样也是使用公开的 AI 技术将其转换成了 4k 高清视频，并且可以以每秒 60 帧进行播放。结果虽然不完美，但同样让人惊艳。

可以看到，修复的结果并不十分完美。整个画面和动态中都存在一些特征性的“平滑”和奇怪的伪像，这都是在大量插帧时会出现的典型现象。但是对于大多数人（在大多数设备上）来说，这种效果还是像魔术一样神奇，修复后的画面中，人们的衣服和火车的细节清晰可见，画面流畅同步，可视距离变长。

有意思的是，这部电影上映时，因为人们从未见过一辆火车径直冲着观众冲过来的动态镜头，很多观众一度受惊被吓得跑出电影院，这部短片也被称为“电影的奠基神话”，流传为一段佳话。

Google 的 DAIN
和 Topaz Labs的 Gigapixel AI

言归正传，为了实现高清修复，Shiryaev 使用了两种神经网络：Google 的 DAIN（深度感知视频帧插值，Depth-Aware Video Frame Interpolation）和 Topaz Labs的 Gigapixel AI。其中，Gigapixel AI 用于将微弱分辨率的视频一直扩展到 4K，而 DAIN 用于创建和插入之前不存在的帧，从而将视频的 FPS 增加到 60。

首先来看 Gigapixel AI，随着图片放大，它可以对图片进行细节填充。具体的实现方法，是通过分析按比例缩小的大量图像，了解丢失的信息。经过训练，当图片放大时，Gigapixel AI 可以自动弥补图像损失的细节，让画质效果更佳。

这项技术也被打包放进了 Topaz Gigapixel AI 软件中，使用软件就可以对图像“无损”放大，亲测效果还不错。

第二个算法是由 Google 工程师团队和一些研究员开发的插帧算法 DAIN 添加的。

DAIN 也像 Gigapixel AI 一样可以填充细节，但却是插入整个图片而不是单个像素，从而将帧速率提高到每秒 60 帧。

当然，AI 使用现有的大量视频作为训练材料，通过评估前后帧以及镜头中的不同深度水平，以找出缺失的信息。