近日,一段拍摄于 100 年前的老北京城影像被央视转发,在微博上火了。据了解,该视频出自一位 B 站的 UP 主大谷的游戏创作小屋。作者大谷利用 AI 技术,把一段拍摄于 1920 年的北京城黑白视频,渲染成了高清流畅的彩色视频,配以颇具地方特色的 BGM,还原了百年前老北京城的民风民俗,颇有内味。
据大谷介绍,这部拍摄于百年前的黑白视频由于年代久远,视频画质有很多噪点,帧数、分辨率都很低。于是他使用了三款开源的 AI 工具来对视频进行处理,分别是:
DAIN,对视频进行补帧处理,提高视频流畅度
ESRGAN,对视频进行超分辨率处理,提高视频清晰度
DeOldify,对视频进行上色处理
下面就让我们来了解一下这三款视频修复常用的 AI 工具,感兴趣的朋友也可以学着用起来,自己处理老旧视频哦。
视频补帧工具DAIN
帧数 (FPS)对于一部视频的流畅度来说影响很大,在正常播放速度下,低于 30 FPS 的视频会让人觉得卡顿,高于 60 FPS 的话肉眼则分辨不出区别。帧数越高的视频带来的流畅度一定是更高的,尤其是在慢镜头下,差别尤为明显:
上图来自另一 AI 补帧工具 SUPER SLOMO 的示例,将原片 30 FPS 的汽车甩尾镜头放慢 8 倍后,实际 FPS 不足 4 FPS,肉眼可见的卡顿。而通过 AI 补帧技术,能够将慢放后的视频维持在 240 FPS,流畅程度可见一斑。
通常来说,补帧的核心述求是在两个连续帧之间插入中间帧,从而提高视频的 FPS,而补帧工具需要解决的问题就是如何通过 AI 算法自动生成中间帧。DAIN 全称 Depth-Aware Video Frame Interpolation,即基于深度感知的视频帧插值工具。DAIN 团队提出了深度感知帧内插模型,开发了一个深度感知流投影层来生成中间帧。
测试环境
Ubuntu(Ubuntu =16.04.5 LTS )
Python:Anaconda3 =