虚拟现实期末复习

虚拟现实

---

• 什么是虚拟现实技术：是一种高端人机接口，包括通过视觉、听觉、触觉、嗅觉和味觉等多种感觉通道的实时模拟和实时交互

• 虚拟现实之父：Ivan Sutherland

• 虚拟现实技术发展史上重要里程碑：1968年，Ivan Sutherland 研制成功了带跟踪器的头盔式立体显示器，被称为“达摩克利斯之剑

• VR研究技术主要内容：实时三维图像生成技术、多传感器交互技术、高分辨率显示技术

• 虚拟现实系统中有哪些主要技术：1.立体显示技术 2.环境建模技术（三维建模技术） 3.真实感图形绘制技术 4.三维虚拟声音的实现技术 5.自然交互与传感技术 6.实时碰撞检测技术

• 虚拟现实的发源地：美国

• 三大特性：沉浸性、交互性、想象性

• 虚拟现实系统的分类：沉浸式交互系统、桌面式交互系统、分布式交互系统（多个用户同时参与一个虚拟现实环境）、增强式交互系统（现实世界和虚拟世界叠加在一起）

• 典型虚拟现实系统的组成：三维虚拟环境产生器和计算部分，各种传感器构成的信号采集部分，由各种输出设备构成的输出部分

• 两种输入设备：基于自然的交互设备（数据手套、数据衣、三维鼠标、3D扫描仪、3D摄像机）、三维定位跟踪设备

• 三维定位跟踪设别式虚拟现实系统种关键设备之一，一半要跟踪参与对象的宽度、高度、深度、俯仰角（pitch，X轴）、航向角（yaw,Y轴）、偏转角（roll，Z轴）

• 三维定位跟踪设备：三种常见的（均为非接触式）：电磁跟踪器、超声波跟踪器、光学跟踪器；其它：惯性跟踪器、GPS跟踪器、机械跟踪器、混合跟踪器

• 电磁跟踪器原理：

• 超声波跟踪器原理（声学定位的一种）：飞行时间法、相位相干法

• 光学跟踪器：从里向外看（带传感器的头盔显示器、LED天花板），从外向里看（CCD照相机、LED灯标）

• 基于自然的交互设备：数据衣、数据手套、三维鼠标、快速建模设备（3D摄像机（两个摄像头）、3D扫描仪（接触式、非接触式（激光式扫描仪、光学式扫描仪）））

• 数据手套工作原理：

• 输出设备种类：图形显示设备、声音输出设备、触觉反馈设备

• 人类视觉模型：1.中央凹和聚焦区 2.立体视觉 3.视场和会聚角（单眼水平视场：150度，垂直视场120度；双眼水平180度，垂直120度）【其它：分辨率、视觉暂留（余晖效应）】

• 视场和视角区别：

• 头盔显示器(HMD)：由两个LCD或CRT显示器分别显示左右眼的图像，这两个图像由计算机分别驱动，两个图像中存在微小差异，人眼获取这种带有差异的信息之后在脑海中那个产生立体感

• 由于头盔显示器所用屏幕离眼睛近。因此为了使眼睛聚焦于如此近的距离而不易产生疲劳，需要使用专门的镜片。并且此镜片要能放大图像，向双眼提供尽可能宽的视野：LEEP镜片

• 沉浸式立体投影系统：根据沉浸程度的不同可以分为：单通道投影系统（一台图形计算机，两台投影仪）、多通道环幕立体投影系统（基于多通道的视景同步技术、三维空间整形校正算法、立体显示技术的房间式可视协同环境）、球面投影系统、CAVE投影系统

• 三维立体投影系统各自优缺点：

• 立体眼睛分类：有源立体眼镜（主动立体眼镜）、无源立体眼镜（被动立体眼镜）

• 有源立体眼镜原理：

• 无源立体眼镜原理：

• 图形显示设备包括以下过程：1. 头部运动(用户佩戴好头显后，头部开始运动计时开始) 2.空间定位（定位系统检测和精确确定新的头部位置和姿态） 3.立体渲染（根据新的位置，计算机渲染左右眼所需要的一对立体视觉图像 4.扫描输出（图形硬件传输渲染完成的立体图像到头显准备显示） 5.显示开始（根据收到的像素数据，头显开始为每个像素发射光子） 6.光子通过透镜到达人眼，完成整个过程，记时结束

• 人耳听觉结构由三部分构成：外耳、中耳、内耳

• 人耳可感知的频率范围：20Hz-20kHz；随年龄增加，频率范围缩小，特别是高频段

• 声音定位：时间差异、强度差异；只要到达两耳的声音存在时间差或者强度差，人就可以判断出声源的方向

• 对于听觉感知设备来说最核心的技术就是三维虚拟声音的定位技术：全向三维定位特性、三维实时跟踪特性

• 触觉反馈：传送接触表面几何结构、表面硬度、滑动、温度；不会主动抵抗用户的触摸运动，不能阻止用户穿过虚拟表面

• 力反馈：提供虚拟对象表面柔顺性、对象重量和惯性。主动抵抗用户的触摸运动

• 触觉和力反馈设备：力反馈鼠标、力反馈操纵杆、力反馈手臂、力反馈手套

• 立体视觉形成要满足的条件：1.画面具有透视效果 2.画面有正确的明暗虚实变化 3.具有双眼的空间定位效果

• 立体视觉的基础：两只眼睛存在视差

• 立体显示的实现：1.对同一场景分别产生相应于左右眼的不同图像，让它们之间具有一定视差 2.借助相关技术，使左右两眼只能看到与之相应的图像

• 立体显示技术从时间特点上分为：1.同时显示技术(彩色眼镜、偏振光眼镜) 2.分时显示技术（液晶光阀眼镜）

• 立体显示技术从设备特点上分为：1.立体眼镜 2.立体头盔 3.裸眼3D(光栅式自由立体显示、体显示、全息投影)

• 彩色眼镜基本原理（被动立体眼镜）：

• 偏振光眼镜基本原理（被动立体眼镜）：

• 液晶光阀眼镜基本原理（主动立体眼镜）：

• 全息投影原理：利用光的干涉和衍射原理记录并在线真实物体三维图像的技术。1.利用干涉原理记录物体光波信息，即拍摄过程 2.利用衍射原理再现物体光波信息，即成像过程

• 三维建模技术：物理建模（分形技术、粒子系统）、运动建模（碰撞检测）、几何建模(形状建模、外观建模【表面反射与纹理】)

• 分形技术优缺点：优点：通过简单的操作就能完成复杂的不规则物体的建模；缺点：计算量太大

• 为了提供身临其境的感觉，听觉通道应该满足一些要求，使人感觉置身于立体的声场之中：能识别声音的类型和强度、能判定声源的位置

• 立体声、立体环绕声、三维虚拟声音：立体声虽然有左右声道之分，但就整体效果而言，立体声音来自听者面前的一个平面；立体环绕声保留原信号的声源方向感，听者能区分出来自前后左右的声音，即立体环绕声可以使空间声源由线扩展到整个水平面；三维虚拟声音是来自围绕听者双耳的一个球形中任何地方，在虚拟环境中，三维虚拟声音可以使用户准确判断声源的位置

• 三维虚拟声音的两个特性：全向三维定位特性（在三维虚拟空间中把实际声音信号定位到特定虚拟专用源的能力，它能使用户准确地判断出声源的精确位置，从而符合人们在真实境界中的听觉方式）、三维实时跟踪特性（在三维虚拟空间中实时跟踪虚拟声源位置变化或者景象变化的能力）

• 语音应用技术是指基于语音进行处理的技术，在虚拟现实技术中的关键技术是：语音识别技术、语音合成技术

• 语音识别过程的三个阶段：1.语音特征提取 2.声学模型和模式匹配 3.语言模型识别与语言处理

• 语音合成技术的实现方法：1.拼接技术 2.统计参数合成 3.基于深度学习的语音合成技术

• 人机交互技术：眼动跟踪、手势识别、语音识别、面部表情识别

• 手势识别的输入设备分为：数据手套的识别（贵、限制运动、识别率高）、基于视觉（图像）的识别（便宜、识别率低）

• 手势识别方法：一般采用模板匹配的方法

• 面部表情识别技术：人脸图像的检测与定位、表情特征提取、模板匹配、表情识别

• 人脸图像的检测与定位方法：基于特征的人脸检测方法、基于图像的人脸检测方法

• 表情提取根据图像性质不同可以分为：静态图像特征提取、序列图像特征提取

• 眼动跟踪技术的步骤：1.眼控仪内置红外光源、光学传感器、图像处理器以及视计算中心点 2.创建出对应图像控摄到人眼上 3.捕获用户头部、眼睛的图像信息 4.捕获图像的特征 5.精确计算注视点的位置

• 常见的视觉追踪方法：眼电图（干扰大，高带宽，精度低）、虹膜-巩膜边缘（干扰大、高带宽，精度低）、角膜反射（高带宽、精度低）、瞳孔-角膜反射（低带宽，精度高，无干扰，误差小）、接触镜（高带宽、高精度、干扰大、不舒适）

• 眼动跟踪技术存在的问题：数据提取困难、数据解释问题（眼动存在眨动、抖动）、精度和自由度问题、弥达斯接触问题（用户实现运动的随意性）、算法问题

• 碰撞检测的基本问题：求交

• 设计高效的碰撞检测算法是编程的难点

• 碰撞检测分类：基于凸体的碰撞检测、基于层次包围盒的碰撞检测

• 基于凸体的碰撞检测分类：基于特征的碰撞检测算法、基于单纯性的碰撞检测算法

• 基于特征的碰撞检测算法：Lin-Canny算法（判别两个多面体的定点、边和面之间的相互关系,求解两个凸包之间的最近距离）

  • Lin-Canny算法：1.将几何体元进行分类：点、边（三维线段）、面（有限面片） 2.将两个凸包中的几何体元组成基本的几何体元对：点-点，点-边，点-面，边-边，边-面，面-面（即 将两个几何体之间的最近点可能出现的位置归结到了上述六种体元对之间）
  • 三维Voronoi区域（VA）：定义一个点集合S，a是S中的一个点，则a的VA区域是：离a点距离比离S中其它距离都要近的平面上的点的集合。 概念扩展：给定一个多面体P，它的特征F包括：顶点、边、面以及多面体本身，则F的VA定义为：空间中离F比其它特征都要近的点的集合（不包括多面体内部）
  • 基于VA的LC算法（找最近点）：1.点-点（A处于B的VA内，B处于A的VA内） 2.点-边（求解点到该线的最近点对，转1） 3.点-面（求解点到面的最近点，转1） 4.边-边（求解边-边间的最近点对，再以各个点和另一条边为体元，转2） 5.边-面（求解边-面的最近点对，归结于前三一种，再后续判断） 6.面-面（判断是否平行，求出两个面片之间的最近边对）

• 面向单纯性的碰撞检测算法：GJK算法、单纯形（指点、线段、三角形或四面体）、闵可夫斯基和（两物体所有点坐标之和的集合）&闵可夫斯基差（两物体所有坐标之差）

• 闵可夫斯基差碰撞检测原理：如果两物体重叠/相交，两物体的闵科夫斯基差一定包括原点

• GJK算法：在闵科夫斯基差形成的物体内，迭代形成一个单纯形，并使这个单纯形包括原点，如果这个单纯形包括原点，显然闵科夫斯基差一定包括原点

• 基于层次包围盒的碰撞检测算法：包围球、AABB、OBB、K-DOP

  • 包围球：找到物体中所有元素坐标中的最大盒最小值，确定球心和半径。【构造简单，容易计算；紧密性差，产生大量冗余空间】
  • AABB：六个标量描述：顶点由所有点坐标的最大值和最小值确定，中心点是两个顶点的中点。两物体分别沿两个坐标轴做投影，只有在两个坐标轴都发生重叠的情况下，两个物体才意味着发生了碰撞【简单，速度快，精度不高】
  • OBB:盒子无需与坐标轴垂直，二维包围盒的创立：基于PCA主成分分析法【给定两点集X,Y，计算平均值并构建X,Y协方差矩阵，根据协方差矩阵切结其特征值盒特征向量，其中特征值较大的为OBB包围盒方向，得到的特征值即微信的坐标系，将原始数据回落到该坐标系下，即可求得OBB包围盒的长、宽、中心点】；分离轴定理：如果能找到一条线，令包围盒A完全在一边，包围盒B完全在另一边，则不重叠，该线为分离线，分离线一定垂直于分离轴。【二维情况：如果两矩形之间存在分离线，则一定存在一条和两条矩形中一条边平行的分离线，所以只要检查四个方向是否存在分离线】【三维情况：要判断6+9=15种情况：每个OBB的三个面加每个OBB三个边方向的两两组合（分离面的法线（分离轴）是两条边的叉乘结果）】【精度高于AABB，算法复杂度高，内存消耗大】
  • K-DOP：一种凸多面体，它的面是由一些平行平面所确定的，平面的外向法是从空间中K个固定方向中选取的。可以用于柔性物体检测，K值需要根据碰撞检测的不同需要而定，在碰撞检测的简单性和包裹物体的紧密性之间平衡

• 基于层次包围盒树的碰撞检测：由粗到细的检测方法

• 全景分类：虚拟全景，现实全景

• 全景图分类：柱形全景、球形全景（Equiretangle投影、墨卡托投影、Equisolid投影、对象全景、立方体全景

• VR视频与全景视频：相似：都可以是3D的，都能360度观看，具有视觉沉浸感

• 全景制作常见硬件：数码相机、鱼眼镜头（视角范围大大、焦距短、景深长或广角镜头、全景云台、三脚架

• 全景照片的制作：1.拍摄图片 2.将图片输入计算机 3.计算机软件拼接照片

• 全景照片注意事项：尽量把相机端平，每张照片应该与前面的一张重叠33%-60%，要旋转满360度，同时最后一张也要和前一张重叠

• 常见全景拼接软件：quickTime VR,IPIX,PixMaker