虚拟现实技术知识点总结

一、概论

​ 虚拟现实技术是指采用以计算机技术为核心的现代高新技术，生成逼真的视觉、听觉、触觉一体化的虚拟环境，参与者可以借助必要的装备，以 自然的方式与虚拟环境中的物体进行交互，并相互影响，从而获得等同真实环境的感受和体验。

1.基本特征

• 想象性

• 沉浸感

• 交互性

2.虚拟现实系统的分类

• 桌面式VR系统

• 沉浸式VR系统

• 增强式VR系统：部分真实环境由虚拟环境取代，减少构成复杂真实环境的开销；

• 分布式VR系统：基于网络的虚拟环境，多个 用户同时参加一个虚拟现实环境

3.虚拟现实系统的组成

• 三维的虚拟环境产生器及其计算部分

• 由各种传感器构成的信号采集部分

• 由各种外部设备构成的信息输出部分

二、虚拟现实系统输入设备

1.跟踪定位设备

• 作用：能够实时地测量用户身体或其局部的位置和方向，并将其作为用户的输入信息传递给虚拟现实系统的主控计算机，从而根据用户当前的视点信息刷新虚拟场景的显示。

• 分类

  • 常用：电磁跟踪器，光学跟踪器，超声波跟踪器
  • 其他：机械跟踪器、惯性跟踪器、GPS跟踪器

• 如何描述对象在三维空间中的位置和方向？？

  • 六自由度：物体在三维空间运动时，具有6个自由度；其中，3个用于平移运动，3个用于旋转运动。
    • **平移自由度：**X，Y，Z坐标值
    • **旋转自由度：**俯仰角，横滚角，航向角

• 性能指标

  • 精度： 指对象真实的三维位置与跟踪器测量出的三维位置之间的差值。
  • 抖动： 指当被跟踪对象固定不变时，跟踪器输出结果的变化
  • 偏差： 指跟踪器随时间推移而累积的误差
  • 延迟： 动作与结果之间的时间差

• 电磁跟踪器

  • 原理：利用磁场的强度来进行位置和方向跟踪

  • 交流电发射器由3个互相垂直的线圈组成，当交流电在3个线圈中通过时，就产生互相垂直的3个磁场分量，在空间传播。

  • 接收器也由3个互相垂直的线圈组成，当有磁场在线圈中变化时，就在线圈上产生一个感应电流，接收器感应电流强度与其距发射器的距离有关。

  优点	缺点
  其敏感性不依赖跟踪方位	延迟较长
  不受视线阻挡的限制	跟踪范围小
  体积小，价格便宜	容易受环境中大的金属物体或其他 磁场的影响，信号发生畸变，跟踪 精度降低

• 超声波跟踪器

• 测量方法
  • 飞行时间法（TOF）：是基于三角测量的，周期性地激活各个发射器轮流发出高频的超声波， 测量到达各个接受点的飞行时间，由此利用声音的速度得到发射点与接受点的之间的九个距离， 再由三角运算得到被测物体的位置。
  • 相位相干法（PC）：各个发射器发出高频的超声波，测量到达各个接受点的相位差来得到点与点的距离，再由三角运算得到被测物体的位置（声波是正弦波，发射器与接受器的声波之间存在相位差，这个相位差也与距离有关）该测量方法是基于相对距离的，无法得知目标的绝对距离，每步的测量误差会随时间而积累，绝对距离必须在初始时候由其它设备校准。

优点	缺点
不受环境磁场的影响	更新率慢
不产生电磁辐射	超声波信号在空气中的传播衰减，影响跟踪器工作范围
价格便宜	发射器和接收器之间要求无阻挡
	背景噪声和其他超声源会破坏跟踪器的信号

• 光学跟踪器

  • 标记方式
    • 从外向里看
    • 从里往外看

优点	缺点
在近距离内非常精确且不受磁场和声场的干扰	要求光源与探测可视
不受金属物质的干扰	跟踪的角度范围有限
较高的更新率和较低的延迟

• 惯性跟踪器

  • 原理：利用牛顿运动定律确定方向和位置
  • 部件：
    • 陀螺仪：测量对象的方向变化速率
    • 加速度计：能够测量物体的加速力

优点	缺点
不存在发射源，不怕遮挡	快速积累误差
	由于重力场，容易产生噪声与校准错误，位置和方向会发生偏移

• 机械跟踪器

  • 工作原理：通过机械连杆装置上的参考点与被测物体相接触的方法检测其位置变化

• GPS跟踪器

  • 组成部分
    • 空间部分：GPS卫星系统
    • 地面控制部分：地面监控系统
    • 用户设备部分：GPS信号接收机（终端）

优点	缺点
拥有全球范围的有效覆盖面积	信号受建筑物影响较大，衰弱很大
系统比较成熟	定位精度相对较低
定位服务比较完备

2.虚拟现实系统的交互接口

• 手势接口：测量用户手指实时位置的设备

  • 实例：数据手套——数据手套设有弯曲传感器，一个节点对应一个传感器

• 三维鼠标

• 数据衣

3.快速建模设备

• 3D摄像机：通常采用两个摄像镜头，以一定间距和夹角记录影像的变化，模拟人的视觉生理现象

• 3D扫描仪

  • 接触式扫描仪

  • 非接触式扫描仪

    • 激光式扫描仪

    • 光学式扫描仪

三、虚拟现实系统输出设备

1.图形显示设备

• 人类视觉系统的特性

  • 中央凹和聚焦区

  • 立体视觉

  • 视场与会聚角： 一只眼睛的水平视场大约150°， 垂直视场大约120°；双眼水平视场大约180°，垂直视场大约 120°

​ 在视场中，当目光聚焦在固定点 F上时，视轴和固定点F的连线之 间的夹角确定了会聚角，如右图 所示。这个角度同时也依赖于左 眼瞳孔和右眼瞳孔之间的距离， 这个距离称为内瞳距（IPD）。

补充：视角

• 分辨率

• 视觉暂留： 人眼观看物体时，成像于视网膜上，并由视神 经输入人脑，感觉到物体的像。但当物体移去时，视神经 对物体的印象不会立即消失，而要延续0.1～0.4秒的时间，

2.头盔显示器

• 组成

  • 显示器
  • 光学透镜（LEEP镜片，使用输出成像极其宽阔的透镜）
  • 三个自由度的空间跟踪定位器

• 工作原理

  • 通常由两个LCD或CRT显示器分别显示左右眼的图像，这两个图像由计算机分别驱动，两个图像间存在着微小的差别，人眼获取这种带有差异的信息后在脑海中产生立体感。

3.沉浸式立体投影系统（大屏幕三维立体投影显示系统）

根据沉浸程度的不同，可以分为下面几种

• 单通道立体投影系统

  ​ 能够显示优质的高分辨率三维立体投影影像；是一种低成本、操作简便、占用空间较小、具有极好性能价格比的小型虚拟三维投影显示系统。

• 多通道环幕立体投影系统

  ​ 具备更大的显示尺寸、更宽的视野、更多的显示内容、更高的显 示分辨率，以及更具冲击力和沉浸感的视觉效果。
  

• CAVE投影系统

  ​ 该系统可提供一个同房间大小的四面（或六面）立方体投影显示 空间，供多人参与，所有参与者均完全沉浸在一个被三维立体投影画面 包围的高级虚拟仿真环境中，提供给使用者一种前所未有的带有震撼性 的身临其境的沉浸感。

• 球面投影系统

  ​ 视野非常广阔，覆盖了观察者的所有视野，从而令使用者完全置身于飞行场景中，给人身临其境的沉浸感。

4.立体眼镜

• 有源立体眼镜

• 无源立体眼镜（光的偏振）

5.声音定位

6.触觉反馈

手指触觉反馈装置

• 视觉式
• 充气式
• 振动式
• 电刺激式
• 神经肌肉刺激式

四、虚拟现实的关键技术

1.立体高清显示技术

​ 它使用户在虚拟世界里具有更强的沉浸感，立体高清显示技术的引入可以使各种模拟器的仿真更加逼真。

• 立体视觉的基础：两只眼睛存在视差

• 立体显示的实现：

  • 对同一场景分别产生相应于左右眼的不同图像，让他们之间具有一定的视差

  • 借助相关技术，使左右双眼只能看到与之相应的图像

• 立体显示技术从时间特点上分为：

  • 同时显示技术

  • 分时显示技术

• 立体显示技术的设备分类

  • 立体眼镜

    • 被动立体眼镜（主要用于同时显示技术）

      • 彩色眼镜，

        • 基本原理：拍摄时，模拟人眼位置从左右两个视角拍摄出两个影像， 以滤光片重叠投影到同一画面上。放映时，用户佩戴相应的补色眼镜进行观察。
        • 缺点：由于滤光镜限制了色度，造成用户色觉不平衡，产生解决疲劳

      • 偏振光眼镜

+ ##### 主动立体眼镜（主要用于分时显示技术）

  + ##### 液晶光阀眼镜（快门式3D眼镜）

    + 基本原理：显示屏分时显示左右眼对应图像，并通过同步信号发射器及同步信号接收器控制观看者所佩戴的液晶光阀眼镜。当显示屏显示左（右）眼图像时，左（右）眼镜片透光 而右（左）眼镜片不透光，这样双眼只能看到相应的图像。

• 立体头盔

• 裸眼立体

  • 光栅式自由立体显示

  • 体显示

  • 全息投影显示

    • 基本原理

      • 拍摄过程：利用干涉原理记录物体光波信息
      • 成像过程：利用衍射原理再现物体光波信息

2.三维建模技术

• 几何建模

  • 形状建模

    • 人工几何建模
      • 利用现有的图形库建模
      • 利用建模软件建模
    • 自动几何建模（利用三维扫描设备对物体进行扫描建模）

  • 外观建模

    • 虚拟对象外表的真实感主要取决于它的表面反射和纹理
    • 用纹理映射技术处理对象的外表

• 物理建模

  • 分形技术
    • 可以描述具有自相似特征的数据集
    • 通过简单的操作就可以完成复杂的不规则物体的建模
    • 计算量太大
  • 粒子系统
    • 就是将人们看到的物体运动和自然现象，用一系列运动的粒子来描述，再将这些粒子运动的轨迹映射到显示 屏上，在显示屏上看到的就是物体运动和自然现象的模拟效果了。

• 运动建模

  • 对象位置

  • 碰撞检测

    • 层次包围盒法

+ 空间分解法

五、三维虚拟声音技术及交互技术

• 立体声、立体环绕声、三维虚拟声音的差别

  • 立体声： 有左右声道之分，但就整体效果而言，立体声音来自听者面前的某个平面
  • 立体环绕声：保留原信号的声源方向感，并伴随产生围绕感和扩展感的音箱效果，可使空间声源由线扩展到整个水平面
  • 三维虚拟声音：来自围绕听者双耳的一个球形的任何地方，即出现在头的上方，后方，前方等

• 三维虚拟声音的主要特征

  • 全向三维定位特性

    • 是指在三维虚拟空间中把实际声音信号定位到特定虚拟专用源的能力。
    • 使用户准确判断声源的精确位置

  • 三维实时跟踪特性

    • 是指在三维虚拟空间中实时跟踪虚拟声源位置变化或景像变化的能力。
    • 比如当头部转动时，虚拟声源的位置也随之变化

  • 沉浸感与交互性

• 语音识别技术

  ​ 当通过一个话筒将声音输入到系统中，系统把它转换成数据文件后，语音识别软件开始以输入的声音样本与事先储存好的声音样本进行对比工作。声音对比工作完成之后，系统输入一个它认为最“像”的声音样本序号，由此确定刚才的声音是什么意义，进而执行此命令。

  • 完整的语音识别过程

    • 语音特征提取

    • 声学模型与模式匹配

    • 语言模型识别与语言处理

• 语音合成技术

  • 实现方法

    • 拼接技术

      • 收集整理大量人们的语音，形成一个庞大的语音资料库
      • 根据人们输入的文字在资料库找到对应的进行拼接成一个完整的句子输出
      • 缺点：依托一个庞大的语音库耗时，效果逼真度差

    • 统计参数合成技术

      • 利用数学模型统计出一个语言的特色
      • 重建出声音的波形
      • 好处：不需要大量的资料库
      • 缺点：合成的声音不真实

    • 基于深度学习的语音合成

      • WaveNet使用卷积神经网络学习输入样本的特征，根据学习到的特征产生相应的语音
        • 缺点：速度太慢；需要文本前端的支持，前端分析出错，将直接影响合成 效果。
      • Deep Voice 的做法是仿照传统参数合成的各个步骤，将每一阶段用一个神经网络模型来代替。那整个模型就是一个大的神经网络。

• 人机交互技术

  • 概念：人机自然交互技术是指在计算机系统提供的虚拟环境中， 人应该可以使用眼睛、耳朵、皮肤、手势和语音等各种感 觉方式直接与之发生交互的技术。

  • 手势识别

    • 输入设备
      • 基于数据手套的识别
        • 利用数据手套和空间位置跟踪定位设备来捕捉手势的空间运动轨迹和时序信息。
      • 基于视觉（图像）的识别系统
        • 通过摄像机连续拍摄手部的运动图像，然后采用图像处理技术提取出图像中的手部轮廓，进而分析出手势形态

  • 面部表情识别

    • 步骤

      • 人脸图像的检测与定位
      • 表情特征提取
        • 静态图像特征提取
        • 序列图像特征提取
      • 模块匹配
      • 表情识别
        

  • 眼动跟踪

    • 眼电图
    • 角膜反射
    • 接触镜等

  • 语音识别

六、三维全景技术

• 全景是一种使用相机环绕四周进行360度拍摄，将拍摄到的照片拼接成一个全方位、全角度的图像

• 全景可分为两类

  • 虚拟全景

  • 现实全景

• 三维全景：基于全景图像的真实场景虚拟现实技术，也称虚拟现实全景

  • 优势

    • 真实感强
    • 比平面图片能表达更多的图像信息
    • 沉浸感
    • 生成方便，制作周期短，成本低

• 全景图的分类

  • 柱形全景

• 球形全景

• 立方体全景

• 物体全景

• 全景视频和VR视频

  • 相似之处

    • 都可以是3D的
    • 沉浸感
    • 都能三百六十度上下，左右旋转观看

  • 不同

    • 全景视频可以是3D的也可以不是，可通过屏幕观看也可以带上眼镜
    • 全景视频是线性播放的
    • VR大都带上头显观看，且必须是3D的
    • VR视频允许用户在同一时间，站在不同位置观看

• 全景制作的常见硬件

  • 鱼眼镜头：

    • 视角范围大，可达180度以上
    • 焦距短，会产生特殊的变形效果
    • 景深长，有利于表现照片的大景深效果

• 广角镜头

  • 相对于鱼眼镜头，没有那么严重的透视变形，拼接出的全景图片分辨率较高

• 全景云台

  • 相机的稳定器，起到平衡与稳定作用
  • 相机的节点：节点是指相机的光学中心，穿过此点的光线不会发生折射，在拍摄鱼眼照片时，相机必须绕着节点转动，才能保证全 景拼合的成功。云台的作用正是如此。云台安装于三脚架 上。它保证了相机转动时，镜头的“节点”正好位于转动 轴上。

• 三角架

• 全景图的拍摄或制作一般采用以下的硬件配置方案

  • 数码相机+鱼眼镜头+三脚架+全景云台

  • 三维建模软件营造虚拟场景

• 全景照片的制作

  • 拍摄图片

• 将照片输入计算机

• 计算机软件拼接照片

  • QuickTime VR
  • IPIX全景
  • PixMaker全景：PixMaker 全景360° 图片的最大优点是操作的 简易性。制作者只须将一组相片通过拍摄、拼接、发布3个 步骤，即可制作出360°环绕的画面。