音视频云系列 - 谈谈XR关键技术及VR/AR/MR/XR关系

作者，李琳，毕蕾，灯塔

一、先别被VR/AR/MR/XR搞晕，说说区别

虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）等业务以其三维化、自然交互、空间计算等完全不同于当前移动互联网的特性，被认为将是下一代通用计算平台。自 2012 年谷歌发布 AR 眼镜 Google Glass, 2014 年 Facebook 收购 VR 头显厂商 Oculus 以来，VR/AR 行业历经了 2015 年至 2017 年的创业和资本的狂热，2018 年的行业退潮。随着 2019 年底全球 5G 正式展开部署，VR/AR 作为 5G 核心的商业场景重新被认识和重视，行业重回升势。

2020 年虽然受疫情的影响，全球各生产生活都受到了不同程度的冲击，然而 VR/AR 行业因祸得福，因疫情造成的社交隔离激发了 VR 游戏、虚拟会议、AR 测温等需求爆发。Steam 平台 VR 活跃用户翻倍增长，虚拟会议，云端展览案例层出不穷，当前 VR/AR/MR/XR 各种 *R 概念纷飞，让人眼花缭乱。本期希望能先辨析清楚这几个概念，后续将进一步分析当前的 XR 核心技术，梳理当前应用场景和产业情况，以及展望未来发展。

（一）虚拟现实（Virtual Reality，VR）

1、概念：
VR 是已包装好的视觉、音频场景数字内容的渲染版本。渲染旨在模拟观察者或用户在应用程序定义的范围内移动时尽可能自然地模拟现实世界中的视觉和音频感官刺激。VR 通常（但非必须）要求用户佩戴头部显示器，以模拟的视觉组件完全取代用户的视野，并佩戴耳机，以向用户提供配套的音频。通常还需要在 VR 中对用户进行某种形式的头部和动作跟踪，以便更新模拟的视觉和音频组件，以确保从用户的角度来看，图像和声源与用户的动作保持一致。还可以提供与虚拟现实仿真进行交互的其他手段，但非必须 。

2、发展历程：
虚拟现实 VR 为梦想而生，让梦成 “真”。1935 年小说家 Stanley Weinbaum 在小说中描述了一款 VR 眼镜，以眼镜为基础，包括视觉，嗅觉，触觉等全方位沉浸式体验的虚拟现实概念，该小说被认为是世界上率先提出虚拟现实概念的作品。有了方向，接下来就是追梦者的舞台，1957 年，电影摄影师 Morton Heiling 发明了名为 Sensorama 的仿真模拟器，是通过三面显示屏来形成空间感，无比巨大，用户需要坐在椅子上将头探进设备内部，才能体验到沉浸感，如图 1-1 左侧。

图 1-1. 早期 VR 设备

1968 年美国计算机图形学之父、图灵奖获得者 Ivan Sutherland 开发了第一个计算机图形驱动的头盔显示器 The Sword of Damocles（达摩克利斯之剑），如图 1-1 右侧，它同时也是增强现实的雏形。VR 向用户呈现的是和现实环境阻隔的纯虚拟环境，通常以头部显示器的方式，沉浸感优越，因而主要作为娱乐和社交工具进入大众视野，消费级产品层出不穷，当前整个产业已经趋于成熟。

比较典型的 VR 头显有如下几类：

图 1-2. VR 头显样例

1）手机盒子：这类头显的显示效果的好坏，完全取决于眼镜里插入的手机的屏幕分辨率、处理器速度、传感器精度。Google的 Cardboard和三星的Gear VR就属于此类，市面价格最低。

2）PC/PS4 主机头显：为了达到极优秀的显示效果，它们需要连接 PC（Sony 的 PSVR 是连接 PS4），使用 PC 的 CPU 和显卡来进行运算。见示意图会有很多连线，观影效果好但是移动便捷性差。比较典型有 HTC VIVO PRO EYE，还有 SONY 的 PlayStation VR。

3）一体机头显：一体机使用移动芯片（如高通骁龙系列）来进行图像和定位计算。脱离了 PC/PS4 或者手机等外部设备的连线束缚，即开即用，非常方便。当前比较典型的有 Oculus quest，Pico 的 Neo CV。当前一体机已经渐渐成为主流。

4）VR Glass：当前最轻便的 VR 头显，类似主机头显，需要连接手机，用手机芯片来处理数据。比较典型的是华为的 VR 眼镜，眼镜重量 200g, 极为轻便。

VR 的阻断隔离式的沉浸感是优点也是缺点，但是因为和现实的脱节，导致其实用性不足，因此分化出第二条发展路线 AR。

（二）增强现实（Augmented Reality，AR）

1、概念：
AR 是指向用户提供其他信息或人工生成的对象或内容覆盖其当前环境的图像。此类附加信息或内容通常是视觉或听觉的，并且对当前环境的观察可以是直接的，没有中间转换，处理和渲染，或者是间接的，因为它们对环境的感知是通过传感器进行中继的，并且可以得到增强或处理。人物的第一视角看到的环境仍为现实场景，通过技术手段（显示器、眼镜等）在人眼所见的现实场景中融入虚拟内容，虚拟内容不基于对现实环境的实时理解，只是相对简单的拼凑在一起。

2、发展历程：
增强现实AR是为实用性而生。时间轴如下图所示。

图 1-3. AR 发展历程

AR 的发展一波三折，从最初的原型开始 AR 就采用先进的光学透视式的显示的方式，但是进展并不顺利，沉寂多年。AR 概念是在 1990 年由波音公司的研究员 Tom Caudell 提出的，随后在 ToB 专业领域崭露头角，比如美国空军研发的虚拟帮助系统，哥伦比亚大学的 KARMA 修理帮助系统等。而增强现实走进大众视野是通过平面显示器（电脑、电视、手机）将现实图像和虚拟物品叠加显示的方式达成的，1998 年 AR 第一次用于直播展示橄榄球比赛进攻黄线，而带来革命的是第一个增强现实 SDK ARToolkit，作为第一个 AR 开源框架被发布，使 AR 技术走出专业的研究机构之中，许多普通程序员也都可以利用它开发自己的 AR 应用。现在有多个 AR 引擎，支持手机应用的开发，使 AR 进入到我们的日常生活，但是通过平面显示器的展现方式沉浸感较低。

所以人们并没有放弃沉浸感更高的穿戴设备的 AR 实现，Google 在 2012 年 6 月推出 Google Glass，但是效果不尽如人意，未能成为精品，时至今日虽有消费级 AR 眼镜的出现，但是成熟度不高，近两年极有可能会有突破。

图 1-4. AR 眼镜样例

（三）混合现实（Mixed Reality，MR）

1、概念：
MR 是 AR 的一种高级形式，虚拟元素被融入到物理场景中，目的是提供一种虚拟和现实结合的场景，即这些元素是真实场景的一部分。在 MR 场景下，大部分虚拟内容基于现实理解而产生，因此比纯虚拟化的场景更具有体验上的真实感。

2、发展历程：
混合现实 MR 是将梦境和现实融合。混合现实出现时间比 VR 和 AR 晚，理解存在争议，尤其是同 AR 的边界较难划分。早在 1994 年，Paul Milgram 和 Fumio Kishino 在论文中提出了混合现实的定义，并利用虚拟连续体（Virtuality Continuum）坐标的形式阐述了三者关系。最初的概念见图 1-5，左侧可理解为人裸眼所见的真实物理世界，随着坐标轴向右，对现实世界的虚拟化（或称数字化）程度逐渐增大，AR 阶段所见的视觉信息仍是现实环境为主，到最右侧就是与现实脱钩，处在完全虚拟化的环境中就是 VR。而从真实世界向完全虚拟化环境 VR 的转变过程，统称为 MR，即现实与虚拟的融合过程。（论文中提到了增强虚拟的概念，目前大众接受度不高，没有形成单独的产品。）

图 1-5. 现实与虚拟的坐标对比[2]

根据这个定义，MR 最初是一个过程的概念，并非特定技术栈，而在此过程中，按照人眼所见现实与虚拟的结合程度，出现了 VR/AR 这样不同体验的产品类别。但是，随着产业的发展，以微软为代表的一些厂商把 MR 定义成 VR/AR 的融合技术，提供将现实场景虚拟化的体验，此时，人眼所见的虚拟场景是基于现实数字化得来的。

微软是这样区分三者的关系的：在物理世界的视频流中叠加图形的体验是“增强现实”。 遮挡视线以呈现数字图像的体验是“虚拟现实”。 在增强现实和虚拟现实之间实现的体验形成了“混合现实”。