云化XR和沉浸式全息交互技术的探索与思考

  //  

编者按：计算机图形与仿真技术的发展为人类带来了众多的沉浸式技术。虚拟现实（VR）、增强现实（AR）、混合现实（MR）等技术通过不同程度数字信息与现实环境的融合，为用户带来了全新体验，而统括三者的扩展现实（XR）更强调虚拟世界与现实世界的弥合，缩小人们、信息和体验之间的距离壁垒。LiveVideoStackCon 2023 上海站邀请了来自北京邮电大学的黄亚坤，为大家分享学术界关于云化XR和沉浸式全息交互技术的探索与思考 。

文/黄亚坤

整理/LiveVideoStack

大家好，我是来自北京邮电大学的黄亚坤，目前主要在学术界从事研究工作。本次我将从更好地结合学术和工业界这一角度出发来与大家分享我们的探索与思考。

本次分享分为四方面：首先以囊括多种沉浸式技术为主旨谈谈沉浸式XR通信与交互现状，然后介绍我们从2017年至今关于轻量化跨平台WebXR技术的探索与研究进展，接下来介绍全息XR通信与实时交互服务，最后对云化XR的新需求与挑战进行总结。

-01-

沉浸式XR通信与交互现状

XR包含了AR、VR和MR等沉浸式技术，旨在打造真实、虚拟组合的数字化环境，实现沉浸感更深入的人机交互体验。

其中VR可能更为大众所熟知（如当下热门的VR看房、看车），它通过计算机来模拟虚拟环境。目前多数用户使用手机来体验，而使用沉浸感更强的专业VR终端由于昂贵的成本问题在用户间还没有广泛普及；

进一步地，AR可将VR打造的虚拟世界和真实世界无缝融合，目前在工业界中的落地应用广泛使用率较高；

MR则是在融合AR、VR的基础上，实现用户与现实、虚拟世界间的深层次交互反馈。

最后，在常规XR概念的基础上拓展引入了HR，与VR不同，它可以利用光干涉和衍射记录进行真实物体的再现，还原真实的人物与环境。

以上图表展示了XR的技术架构、产业发展趋势，以及XR业务的网络需求。目前来看，XR还处于部分沉浸式体验阶段，正朝着深度沉浸阶段发展，主要表现为单眼观看可达到2K分辨率，FOV处于100-120度范围内。

对于即将正式发售的Apple Vision Pro，我们也持续关注它对业界带来的潜在前景与应用价值。

我们对市场现有的一些XR设备进行了体验分析并总结了几方面问题。

首先是技术成熟度不够：在画面真实率，视场角，眩晕和迟滞感等方面有待提升。例如在工业场景下的三维大模型渲染服务，终端上会出现明显的卡顿、眩晕和迟滞感；

第二是用户成本高：主流的XR头显对于大众用户来说价格过高；

第三是佩戴体验差：当前的XR终端设备存在佩戴沉重，携带性差等体验问题；

第四是优质内容源缺乏：高品质的XR应用稀缺，对用户吸引力不够；

第五是缺乏统一平台ÿ