虚拟现实技术综述

在本篇报告里，我将浅谈一下本人对虚拟现实的认识，本篇报告将分为以下两个方面：
1、 虚拟现实依托的技术。
2、 虚拟现实存在问题。
由于本人知识储备不足，报告的大部分内容来源于网上文档，且如果理解有错误，请各位给予指正！

一、虚拟现实依托的技术

1、设备端

设备端是指与VR眼镜相关的计算机技术，有三个方向，分别是显示技术、定位技术和识别技术，如下图所示：

1.1、显示技术
目前VR设备有三大类：外接式头显（pcvr、psvr、oculus）、一体机、手机盒子，这三类设备用到的操作系统都是基于现有计算设备的系统，所以从系统层面并没有引入新的技术，但是在显示层面，它的技术却复杂许多。
当游戏引擎渲染出一个VR画面后，并不能像手机电脑等直接上屏，还需要经过反畸变、合成、位置预测等过程，才能上屏。这需要用到计算机图形学和操作系统相关的知识。
另外，为了提高渲染的效率，还需要引入注视点渲染技术。

1.2、定位技术
VR中图像的生成，依赖于定位的准确性。这涉及了头部定位和手柄定位两块技术。从技术路线上看，定位技术可以分为以下三类：
（1） 外置激光定位（lighthouse）
通过外置的激光发射器扫描空间，通过计算头盔和手柄接收到激光信号的时间来推导设备的空间坐标。优点是：速度快，位置准，缺点是：贵。比如HTC vive。

（2）外置视觉定位
通过外部放置的摄像头，拍摄头盔/手柄上的光点，计算设备的位置。如oculus rift（红外线）和psvr（可见光）都是使用这种方式。为准确快速检测出光标点，需要图像处理、计算机视觉的知识储备。

（3）内置视觉定位（insideout）
通过头盔上的摄像头拍摄的画面的变化，来估计头盔的位置。微软wmr、oculus quest用的是这种方式。优点是不需要外部设备，缺点是响应速度和定位精度不如外置激光定位。

Oculus quest用的是insideout，有四个定位摄像头

1.3、识别技术
为了能对用户的动作指令做出响应，需要对人体的姿态进行识别。包括：手势识别、身体姿态识别、表情识别、眼动追踪等。
手势识别有两种方法，一是佩戴手套或者根据手柄的按键，靠硬件识别；二是基于计算机视觉进行识别。前者更精准快速，后者使用方便。
身体姿态识别也是硬件和计算机视觉两种方法。让使用者佩戴硬件设备是目前比较常用的方案。
表情识别也是如此，主要是用计算机视觉来做，也可以在脸上贴片。
眼动追踪主要是靠计算机视觉做，也有靠眼部肌电信号进行眼动追踪的方法。
在实际应用中，上述方法还是多出现于B端场景，C端使用较少，当然随着硬件设施的进步，C端也会逐渐引入更多的交互方式。

2、应用端

搭好VR设备后，根据不同的应用场景，应用端的相关技术可以分为以下几类：
2.1、 内容开发
最常见的是游戏开发，技术层面跟普通的3d游戏相近，大多使用unity3d和
ue4开发。

2.2、视频制作
关于VR视频的制作，现在的硬件已经比较完善，一些摄像头可以直接输出360度全景视频。但是视频领域依旧有两个领域需要探索：视频分片解码和容积摄影。
视频分片编解码可以解决带宽不够和芯片解码的限制。为了能够传输和播放12k的视频，需要能够在编解码环节进行优化。
容积摄影通过多个摄像头从多个角度拍摄同一个场景，构造一个人可以在里面漫游的视频场景。

2.3、网络技术
“云VR”，类似于“云游戏”的概念，将游戏或者应用运行在云端服务器，然后通过视频的形式发送到用户的设备。
综上所述，学习虚拟现实，需要掌握计算机视觉、计算机图形学、图像处理等方面的知识。

二、虚拟现实存在问题

1、网络技术
在4G技术的加持下，最火的VR交友游戏VR chat中，每个房间只能支持最大在线人数30，这一现象很能说明VR网游想要推广所遇到的最大困难——网络传输问题。由于虚拟三维模型的数据量相当庞大，所以当前的VR游戏市场，基本都是单机游戏。
云VR，作为VR发展的趋势之一，能够将VR设备轻量化。本地VR的渲染分为以下几步：获取姿态——渲染场景——反畸变+预测处理——上屏。而云VR，将场景的渲染、反畸变及预测处理等操作运行在云端服务器，本地的设备只需要将接收到的视频进行上屏即可，但随之而来的网络延迟不可避免。
随着5G技术的推广，云VR受到广泛期待，但采用云VR后，增加了对图像编码、传输、解码的步骤，延迟必定会增加。即使引进5g技术，云VR的实际效能还是有待观察。

2、VR眩晕感
在网上查阅资料时，有些科技媒体将VR发展的最大限制归结于使用VR时不可避免的眩晕感，那么人类为什么会对VR产生眩晕感？原因或许在于VR产生的画面无法真正地欺骗我们的大脑，主要原因可以分为三大类：

2.1、移动问题
在正常情况下，人类通过视觉、前庭系统和肌肉共同协作，通过神经告诉大脑，我们的身体所处的位置和状态。但在VR设备带来的虚拟世界中，人类只有视觉能感受到移动，而前庭系统和肌肉会因为身体实际并未移动，会给大脑传达与视觉感受相悖的信息，人类的大脑同时处理矛盾的信息，就会使人产生眩晕和恶心的心理反应。

2.2、 延迟问题
VR设备在感知人体动作和渲染、上屏场景间存在一定的延迟，会造成身体动作与看到画面的不同步，可能这一差距非常小，但依然会引起人体的不适。可以采用前文提到的位置预测来弥补动作和画面的延迟。

2.3、场景和观察问题
VR设备产生的视觉场景，其范围大于人类的正常视觉范围，这是为了给用户带来更好的沉浸感，但可能会使人体产生不适应。
用户为了观察虚拟场景，会移动眼球和头部，移动眼球时，虚拟场景不会随着人类的眼球移动而改变；而移动头部时，（如果是头盔式VR设备）场景会随着用户头部的移动而产生变化，比如当我们头部倾斜时，画面也会跟着倾斜，但在我们的正常世界中，环境是不会跟着头部的移动而产生移动，这一现象就会增加人体不适感。
2.4、视觉辐辏调节冲突
视觉辐辏调节冲突（vergence-accommodation conflict），简称VAC，是一种神经科学现象，是眼睛与物体之间的实际距离与聚焦距离不匹配造成的。
VR设备的物理景深与真实世界不符，当人类观察较近的物体时，聚焦点较近时，瞳孔的位置会相对靠近，聚焦点较远时，瞳孔的位置会相对远离，这一现象被称谓视觉辐辏。VR设备发出的光是平面的，不带有深度信息，目前的VR设备还无法形成物理景深，只能靠画面的清晰与模糊营造景深的视觉效果。用户在对画面进行观察时，由于无法感受到深度信息，只能将焦点放在屏幕上，这与画面营造的景深效果相悖，这会使得用户产生比较严重的眩晕感。

3、移动区域限制
在斯皮尔伯格的电影头号玩家中，主角团和反派在绿洲游戏里展开最终决战的场面激烈壮观，而在现实世界里，玩家戴着VR设备挥舞手脚战斗的画面可就没那么有观赏性了。斯皮尔伯格加了好多玩家在现实世界狭小的空间里游戏，结果东碰西撞的镜头来烘托喜剧氛围，由此可说明VR游戏的一大问题，即移动区域。
在传统的VR游戏里，玩家的移动受到限制。如限定玩家在某一范围进行操作（如射击游戏《Elven Assassin》、音乐游戏《Beat Saber》），此时玩家是无法在场景中移动漫游的；或者允许玩家在场景中漫游，但移动是借助手柄进行的（如站在VR游戏顶点的《半条命Alyx》），不够有沉浸感。王老师的Oculus里的动作射击游戏《Super Hot》是支持自由移动的，但是也存在着诸如敌人的攻击这样的隐性限制条件。在虚拟世界，即使视野里一片广袤无垠，用户的移动还是受限于真实世界。
电影里给出的解决方案是一台“跑步机”，但是能让用户随心所欲地移动的跑步机，以目前的技术水平，即使能够生产，也很难普及到大众市场。

4、感官限制
人类的感觉有很多种，如视觉、听觉、触觉、嗅觉等，而目前消费级别的VR设备只能实现视觉、听觉上的虚拟现实。