刘德华在现场吗？虚拟制片时代的到来 | Mixlab混合式体验技术

今年春晚，刘德华在现场吗？

等文末再回答这一问题~

先分享下，我最近看到的法国数字艺术家Fabien Barrau使用无人机摄影制作的一系列被称为《未来的新闻》的照片。

纽约贫瘠之地的帝国大厦

海平面上升侵蚀了自由女神像

巴黎成为沙漠

作者通过合成的图片表达了气候变化后可能会出现毁坏的建筑。建筑选取了巴黎，罗马，纽约和伦敦等地的著名地标建筑。

让我想起了大学时自学过的Matte Painting技术

（当时特定买了Wacom手绘板）

Matte Painting是什么？

遮罩绘景

使用photoshop，在一张主场景照片上进行抠图、调整细节、合成其他素材，从而创造出新的场景。

Matte Painting，指通过绘画手段创造影片中所需的场景，场景一般是实景搭建太过昂贵，或很难拍摄到，是一种数字特效技术。一般是由绘景师后期制作而成，使用虚拟外景代替绿幕部分。

早期的Matte Painting是在电影拍摄中，导演们让画家把他们想要的场景画在玻璃上，然后放在镜头前，通过光学手段，遮挡掉他们不想要的场景。

在影片拍摄现场，明星们在绿幕中蹦来蹦去，导演也只能靠脑补最终画面。

为了制作最终的影视效果，有大量的工作耗费在抠图、修复、矫正上。近些年，伴随着深度学习的发展，有很多新技术可以完成Matte Painting，门槛也进一步被降。

自动抠图

Background Matting: 

The World is Your Green Screen

IEEE CVPR 2020的一篇论文，同时作者开源了出来。在Nvidia RTX 2080 TI GPU上实现了4K 30fps 和 HD 60fps 的实时抠图。即使你不会 ps 抠图，AI仍可以帮你更换图片中的背景。

AI除了扣实景照片之外，还可以完成漫画的抠图：

漫画字幕自动抠图

对漫画翻译人员来说，往往需要去除原有漫画的对话框和背景文字，并将其替换为读者翻译的语言。工作量非常大，通过自动抠图技术，大大提高了工作效率。

有了自动抠图，是不是就可以告别绿幕了？

虚拟制片，所见即所得

Virtual Production

还有更为高级的，Unreal Engine提出了虚拟制片的技术解决方案，连抠图都不需要了：

例如上图，运用虚幻制片技术，《曼达洛人》在拍摄时，导演不仅能在拍摄现场实时观看最终的合成画面，还能随时更换场景。由LED曲面屏搭建而成的拍摄现场，真实与虚构完全融为一体，所拍即所得。

到这里答案也差不多揭晓了，虽然春晚刘德华这一段具体是怎么拍摄的官方并没有技术揭秘，不过大体就是这么回事~~~ 你们说呢？

本文所涉及的技术资料

欢迎加入XR社群交流~