周杰伦是怎么凌空闪现今年春晚的？

来源：新浪微博

今年春晚周董带来的《mojito》节目由于过于精致炫酷而被怀疑是直接播放录好的MV。

春晚节目《mojito》

由于疫情原因，周董本人当时真的在台北，而节目方又辟谣说这不是MV，是周董现场直播的节目，那到底是什么魔法让周董空降到央视春晚的呢？

要讲清这项技术，就不得不介绍一下VR、AR和MR技术了。

VR 

(Virtual Reality)

VR技术大家应该并不陌生，各大商场常设有VR体验馆，VR游戏也是不少玩家的心头好，斯皮尔伯格导演的《头号玩家》正是基于一款虚构的VR游戏展开剧情的。

《头号玩家》海报

VR技术全称虚拟现实技术，它是基于计算机模拟出虚拟环境给人三维环境沉浸感。

来源：amazon

VR最简单的构造便是：一个壳+两个镜片+一个显示屏。通过透镜的成像原理将小范围的图像视角“放大”，形成大范围的虚像。

来源：zhihu

由于人的双眼有视觉差异、变焦功能等等，再通过软硬件结合，符合人体结构，优化图像通过人眼传递到大脑的感受，然后你就可以得到一台：

PlayStation VR headset

大家玩VR游戏的时候可能都会沉浸在炫酷的3D世界中，忘记现实，以致于你以为你玩VR游戏的样子：

来源：youtube

而其他人看到你们的样子：

来源：微博

来源：澎湃新闻

当然，VR的应用远不止于此，它可以给学生身临其境的教育场景，给技术人员模拟工作的体验，在教育、科普、医疗、旅游等很多方面都有优势。

AR

(Augmented Reality)

AR技术全称增强现实技术，是一种实时地计算摄影机影像的三维位置并加上相应图像的技术。简单来说就是在现实的场景中再扩充叠加信息，让真实世界与虚拟世界“无缝”集成。

来源：zhihu

AR是人工智能和人机交互的交叉学科，基础技术包括计算机视觉（CV）、机器学习、多模态融合等。

累坏你家狗子的游戏《Pokemon Go》便是一个典型的AR游戏。

AR游戏 《Pokemon Go》

AR技术的应用相比较而言更广泛也更亲民，有一部智能手机便可以享受AR技术，比如手机里可以进行测量的app：

找不到方向时给你指路的实景导航：

如今的AR设备可以是头戴式显示器（如Google Glass）、移动设备（如智能手机和平板）等。随着软硬件的升级，未来AR技术将会变得更加智能。

来源: IPCS

MR

 (Mixed Reality)

MR技术全称是混合显示技术，比较像VR+AR混合，一边利用虚拟环境展示出更多的信息，一边利用真实环境带来更好的沉浸感。因此为了让人有逼真的MR体验，离不开强大的计算能力，所以目前只有少量产品展问世，比如Microsoft HoloLens。

Microsoft HoloLens

说完这些，我们迎来今天的主角——XR技术。

XR 

(Extended Reality)

XR技术全名为拓展现实技术，x也有变量的意思，现实世界与虚拟世界通过这个技术巧妙地结合在一起。它的实现离不开上文提到的VR、AR、MR技术，通过这些强大的工具，创造出新的“现实”。

来源：zhihu

目前，XR技术最为人所熟知的应用便是智能舞台与虚拟制作 (Smart Stage & Virtual Production) 。各种炫酷的背景，植物的枝叶，处于另一个空间的人，动物通通都可以通过XR技术放置在表演者的周围。

来源：AED Studios

你可以在北京的演播室拍摄身处4000多公里以外的珠穆朗玛峰的场景，甚至还可以躺在38万公里外的月球之上，只有你想不到，没有XR技术做不到。

XR技术的强大之处还在于，表演者和摄影机可以在舞台上自由移动。XR技术会让虚拟世界永远以正确的视角实时展示在观众的面前，以确保屏幕前都是逻辑正确的图像。因此，在观众看来，表演者或者主持人似乎实时地身处虚拟世界。

英雄联盟S10开幕式表演直播版

如何在舞台上创造XR世界？

在传统的影视制作中，要想将一个实物放入设想的虚拟世界，可以用绿幕抠像与影视后期制作来完成。但是这个过程需要前后期准备，缺乏时效性。随着人们获得新奇视觉体验的需求量越来越高，我们开始寻问：如果想实时地获得这些效果该怎么办？

实际上，构成我们眼前屏幕上画面的元素包括背景，真实物体以及前景 (即空间逻辑关系在真实物体之前的虚拟物体)。

来源：bilibili

除了实物以外的画面，都是通过3D渲染引擎渲染完成的。想要在摄影机运动的情况下得到实时的反馈，虚拟内容就需要跟随着摄影机的位置时刻变化。这就要求3D渲染引擎拥有强大的实时渲染能力，如Notch、UE4等等，它们能在有限的时间内渲染大量的视频画面以适应摄影机时刻变换的位置。

来源：google

如何让虚拟画面出现在真实物体周围呢？

不难想到，投影机加投影屏幕的组合或者搭建LED屏幕可以实现大部分的背景显示，只要合理地搭建这些显示设备，我们就能在一个有限的空间内达到沉浸式的显示效果。

来源：google

将渲染引擎实时渲染完成的符合摄影机拍摄时空间透视关系的画面实时地映射到这些显示器上，就能得到一个三维的虚拟空间，再将另一个实时渲染出来的前景叠加在这个拍摄信号之上，观众便可以看到更符合认知的前中后关系的画面。

来源：AED Studios

摄像机的运动则是通过一套追踪系统完成追踪的，摄影机的位置又包括固定机位，摇臂或者云台控制的机位，它们通过特定的协议传输摄像机所在的空间位置信息以及镜头的某些参数，以帮助渲染引擎理解摄像机的位置。

有了摄像机追踪系统，实时渲染系统和LED或者投影构成的显示系统，我们还需要一个虚拟制作系统进行收发，解包，修整，对齐等工作，将三者配合起来，以完成我们眼前的画面。

来源：bilibili

这其实是一个工作量巨大的任务：在半秒之内，追踪系统将摄影机的位置信息传输给虚拟制作系统，信息被解读和翻译之后传输给实时渲染引擎，引擎再将渲染完成的画面传送回去，虚拟制作系统将其投送到搭建好的屏幕上。

当然，在强大的追踪系统、渲染引擎、媒体处理器之外，实时的数据传输也是不可或缺的一环。要想XR技术真正走进日常生活中，在超高通量的数据传输任务要求下，5G技术的发展也是至关重要的。

但其实现在XR技术只能服务于屏幕前的观众，在现场的观众只能看到2D的效果，如下图所示。

LOL S10开幕式表演现场版 | 来源：B站用户

XR技术的前景

正如前文所说，目前XR技术的确只能服务于屏幕前的观众，但想象一下将来每个人都能在眼前有一块“屏幕”，XR技术或许真的能给每一个人的生活带来不一样的改变。

在现实世界中玩带有特效的真人cs，或是全方位的沉浸式音频体验，随时随地体验周董在你耳旁唱听妈妈的话哄你入睡。。。

来源：google

在教育和医疗上，XR技术的前景也是广阔的，未来，老师在上课时也许能实时地把学生们带到课文中的情景之中；医生在做一些复杂的手术之前，或许还能通过XR技术模拟手术操作，机器学习和人工智能则可以提供咨询服务，以提高手术的成功率等。

让我们一起期待XR给我们的生活带来更多改变！

参考资料：

[1] “V”来已来——浅谈光学VR实现原理

[2] 虚拟现实（VR）和增强现实（AR）背后的核心技术是什么？

[3] 一文看懂XR科技（扩展现实）——人类交互方式的终极形态零日情报局

[4] Extended Reality at AED Studios

[5] xR？虚拟制作？2020年最火爆的舞台技术原理解析——hecoos虚拟制作系统

编辑：啵啵蛏&小林绿子

我们是谁：

MatheMagician，中文“数学魔术师”，原指用数学设计魔术的魔术师和数学家。既取其用数学来变魔术的本义，也取像魔术一样玩数学的意思。文章内容涵盖互联网，计算机，统计，算法，NLP等前沿的数学及应用领域；也包括魔术思想，流程鉴赏等魔术内容；以及结合二者的数学魔术分享，还有一些思辨性的谈天说地的随笔。希望你能和我一起，既能感性思考又保持理性思维，享受人生乐趣。欢迎扫码关注和在文末或公众号留言与我交流！

扫描二维码

关注更多精彩

Si Stebbins Stack中的数学与魔术（四）——如何快速得到一个Si Stebbins Stack

如果道具不能检查，那就毁了它！（二）——一般道具篇

利息浅谈（七）——万物皆投资

约瑟夫问题与魔术（十）——魔术《完全控制》

每一个魔术，都应该是一场直播的微电影！

点击阅读原文，往期精彩不错过！