点击上方“迈微电子研发社”,选择“星标★”公众号
重磅干货,第一时间送达
是不是很好奇,百年前的北京是什么样子?
最近,一位叫大谷Spitzer的微博网友,将人民日报发布的1920年北京黑白影像资料,利用AI技术做了修复工作:上色、修复帧率、扩大分辨率等处理,并加了合适的配音。
这些步骤底层蕴含的技术应该都是生成对抗网络(GAN),其中第一项用的应该是某种图像风格转换技术,第二项是时序“超分辨率”以提升视频帧率,第三项用的是某种图像超分辨率技术。
这部100多年前的视频中的人和物都显得那么的真实,100年前的人,如今斗转星移,物似人非。不禁感叹人生如梦幻泡影,如梦亦如电。我们通过对影像的观看可以看出修复效果不错,配音选择上也很用心,首先为这个工作点赞!
如此工作满足了大批网友的好奇心,视频一经发布便得到了大量的关注:分享超过12万次、评论3万+、点赞5万+。
有网友评论到:
视频里人怎么也想象不到,一百年后会有一个人躺在床上拿着一个神奇的物品能够观察到他们当时的一举一动吧。科学和巫术果然就是一线之隔。
还有网友赞叹道:
Wow~ 一百年前的vlog。
不是概念的,宏观的,文字的,被描述的,被审视的。完全打破我的模糊想象,被触动了。
当然,还有感慨二环不堵了的……
话不多说,一起来体验下吧。(完整视频在文末)
时光旅行,体验100年前的北京生活
1920年的北京,入城出城的“客流”还算较多,有骑马的、有坐轿子的、有坐人力车的,当然多数人还是步行。
而在城内集市中,也是熙熙攘攘,好不热闹。当然,在那个年代,人们应该是对录影设备感到非常新奇了,图中的小哥驻足了良久,痴痴的看着镜头。
路边街头的小吃生意也是不错(看完想来一屉小笼包了……)
寺庙里烧香拜佛的人们络绎不绝,当时的香火可比现在要鼎盛啊。
但细心的网友也发现:除了寺庙,在大街上很少看见女人。
再来到巷子里的百姓生活,这一段很好的展示了当时社会的礼俗。
真是百年巨变,没想到一百年前这么懂礼节。
当然,还有网友表示:100年了,狗狗长得还是一样的……哈哈哈
最后,让我们一起来俯瞰百年前的北京城。
AI修复百年古董老电影
虽然博主大谷Spitzer没有介绍具体采用了哪些AI技术,但其实修复老电影的工作也有许多。
今年2月,国外网友Denis Shiryaev利用一种增强程序(Gigapixel AI),将1896年的古董电影《火车进站》,转变成了4K 60fps高清“大电影”。
在修复帧率方面,主要采用的技术是AI插值。
据Shiryaev介绍,他采用的是一种叫做Gigapixel AI的商业图像编辑软件(付费)。这款软件由Topaz实验室创造,可以让图像的质量提升600%。
它利用一种专有的插值算法,对图像做分析、识别其细节和结构,最后将额外的“信息”填充到图像中。
这个工作量是什么概念?
普通的高清是1920×1080,总像素为2073600,而4K高清是3840x2160,总像素是8294400。
也就是说,光是要把普通高清提升到4K高清,就需要额外填充600万个像素。
不仅如此,还需要弄清楚如何显示这些额外的像素,这就是插值过程的用武之地。
插值估计每个新像素要显示什么内容,这个过程是基于它们周边的像素。对于这一点,有许多方法可以来衡量。
最近邻 (Nearest Neighbor)方法,会简单地用与其最近邻相同的颜色填充空白像素。它虽然简单而有效,但结果是一个锯齿状、明显像素化的图像。
双线性插值 (Bilinear Interpolation)方法需要更多的处理能力,但它基于最近的两个像素来分析空白像素,并在它们之间生成一个梯度,这会让图像变得更加清晰。
而双三次插值 (Bicubic Interpolation)会对其16个最近邻像素进行了采样,这样就会让着色变得精确,但仍然存在图像模糊的问题。
通过结合双线性插值和双三次插值,就可以生成光学质量损失最小的放大图像。而这一过程,Gigapixel AI利用深度卷积神经网络来完成。
解决了像素低的问题,还需要解决视频卡顿问题。
Gigapixel AI在关键帧之间进行“想像”之后,把这些想像出来的帧插进去。而它插入的帧数多到可以让视频速率提高到60 FPS。
这就是古董电影也能变得如此清晰、流畅的原因。
至于着色工作,同样是利用神经网络,从一堆彩色照片开始,将它们转换成黑色和白色,然后再重建彩色原图。
老片修复技术现状
近几年,AI在视频的数字化修复方面成果十分显著。像《红楼梦》《三国演义》《开国大典》和《红岩》这些经典的老电影,因为年代久远,在今天的影视播放工具上放映时,清晰度太低,有时根本没法看。
在老片修复领域,人工智能技术的运用可谓是一个从无到有的过程。
爱奇艺高级总监刘俊晖在接受《文汇报》采访时解释道,在AI开始“工作”之前,它必须经过大量的学习来搭建模型和推演算法:一方面,对照人工修复前后的影片;另一方面,在清晰的片子上加糊、加噪,人为模拟老片。通过这些基本素材,超分辨率、去噪锐化、修复污迹、色彩增强成为了人工智能技术助力老片修复的“基本技能”。
划痕修复、画面调色等仍需人工操作,AI修复电影需要完善技术
仔细的观众会在@大谷Spitzer视频开头画面旁的小字留意到这样一句话:“色彩为AI自我学习结果,不代表历史原色。”这侧面反映了AI修复老片的一项技术瓶颈,即机器本身不具备艺术鉴赏能力,对于调色等主观的艺术创作,还需要人工来进行把握。
刘俊晖曾公开介绍,爱奇艺团队最初尝试通过AI技术修复老片时曾做过一个样片提交给中国电影资料馆的修复专家。高清、去噪、去划痕……该修复的他们都做了修复,但这段样本却直接被专家否定了。对方给出的意见是:AI修复后的视频画面整体颜色饱满,却丢失了电影本身的年代感。
同样地,据《中国新闻出版广电报》报道,电影《开国大典》有24万帧画面,修复用了4个多月时间。负责该影片修复工作的技术人员周苏岳表示:“正片工作量的90%靠AI技术来解决,但是人工部分花了90%的时间。”尤其是对于镜头不稳定且胶片上有大量脏点、油污、划痕和变型的资料片,专业修复师可能一天也只能修一秒。
不过技术总是处于进步之中。2019年7月,AI服务提供商deepsense.ai曾用人工智能修复经典佳片《乱世佳人》。对于充满噪声和划痕的原始胶片,他们利用有监督的学习算法,通过神经网络训练模型,让机器学会消除瑕疵。
此外,5G时代的到来也会为经典老片的传承带来更多新机遇,因为高速网络会便利超高清的内容传输,激发人们对于移动观影的巨大需求。
技术也令人充满遐想,正如网友@知北游原在评论区留言所说:“一百年后,我们会不会也这样被后人感叹呢?”
奉上完整视频,你想穿越吗?
最后,我们奉上大谷Spitzer的完整视频,里面还在各个场景中配上了背景音乐。
如此的场景,令不少网友想起老舍先生《想北平》中的一段话:
我所爱的北平不是枝枝节节的一些什么,而是整个儿与我的心灵相黏合的一段历史,一大块地方,多少风景名胜,从雨后什刹海的蜻蜓一直到我梦里的玉泉山的塔影,都积凑到一块,每一小的事件中有个我,我的每一思念中有个北平,这只有说不出而已。
那么,在看到百年前栩栩如生的生活状态,你会有想穿越回去的冲动吗?
快来评论区写下你的感受吧~ (点击这里留下你的评论吧)
参考链接:
https://weibo.com/2395607675/J0ZsQnP6a?filter=hot&root_comment_id=4502616270201172&type=comment
https://arstechnica.com/science/2020/02/someone-used-neural-networks-to-upscale-a-famous-1896-video-to-4k-quality/
ⓝ
MaiweiE-com|WeChat ID:Yida_Zhang2
推荐阅读
(点击标题可跳转阅读)

知识星球:社群旨在分享AI算法岗的秋招/春招准备攻略(含刷题)、面经和内推机会、学习路线、知识题库等。
