交互能力的提升

• 随着电 脑科技的进步，影像呈现的精致程度和效率都大幅提升，全景拍摄/剪接技术也更成熟了。

• 动作捕捉和空间定位技术也丰富了 VR /AR内容的互动性。

• 伴随着VR的交互式叙事方式带来的视觉、触觉、听觉、味觉、嗅觉等多元互动体验是前所未有的。

• VR 的诞生将颠覆人类与计算机交互的方式。

• 在VR的交互体验方面，除了VR设备提供准确的运动跟踪数据之外。在VR软件中还需要分析一段时间内的运动数据，并与标准的动作模式进行匹配，来理解用户的操作意图。

 

***  << 听觉相关技术 >>  ***

• 目前的人头录音技术能仿真出3D音效，具有方向感、和远近场感。

   

• 可是仍属于静态的，当你晃动头部时，原本出现在左侧的声音并不会因此变成右侧。

• <双立体声>技术：搭配Rift的头部追踪功能，使听者摆动头部时，整个声场的定位相对于外界空间静止。

• 当你听到右侧有人在讲话，随即把脸转向左方，此时讲话的声音就出现在了你的前方。

        

• Jaunt成立于2013年，被The Verge媒体形容为“完全致力于开发和创造实景的VR体验”，让更多好莱坞的电影制作人进入到这一领域。”

• 2015年8月，Jaunt推出专业级VR相机系列Jaunt One。

• 目前，Jaunt已经成为360度影院式VR的重要供货商，在Oculus Rift、Google Cardboard等多个VR平台上提供VR产品和体验。   

 

• 典型的是头盔显示器(HMD)，人们藉由显示器来获得影像呈现，其内含追踪头部动作的传感器。

        

 

 

• 其在人体的节点佩戴加速度计、陀螺仪和磁力计等惯性传感器设备，取得身体部位的姿态、方位等信息，加以修正、处理后，建立起3D模型，并使得3D模型随着人体而自然地运动起来。

       

• 其中，陀螺仪用于处理旋转运动，加速计处理直线运动，磁力计处理方向。三种传感器协同合作来跟踪人体的运动。

       

• VR是一场交互方式的新革命，人们正在实现由界面到空间的交互方式变迁，这样的交互极其强调沉浸感。然而，用户想要获得完全的沉浸感，真正“进入”虚拟世界，动作捕捉系统是必须的，可以说动作捕捉技术是VR产业隐形钥匙。动作捕捉是一个复杂的过程，每一个环节都涉及很多技术。

• 例如，数据如何传输、如何变成人体动力学的模型、其模型如何去套用一些渲染好的虚拟形象、如何实时地驱动等关键议题等。透过传感器和算法把人体的肌肉、骨骼等动作整合起来，并符合运动的逻辑和规律，捕捉出来的动作更加自然流畅而不僵硬。 

 

 

• 手势跟踪(Gesture tracking)作为交互可以分为两种方式：第一种是使用光学跟踪，比如Leap Motion和NimbleVR这样的深度传感器，第二种是将传感器戴在手上的数据手套。光学跟踪的优势在于使用门槛低，场景灵活，用户不需要在手上穿脱设备，未来在一体化移动VR头显上直接集成光学手部跟踪用作移动场景的交互方式是一件很可行的事情。但是其缺点在于视场受局限，以及我们之前所提到的两个基本问题：需要用户付出脑力和体力才能实现的交互是不会成功的，使用手势跟踪会比较累而且不直观，没有反馈。这需要良好的交互设计才能弥补。

• 例如，Manus VR 团队研发出一对蓝牙手套，安装有传感器，实时感应人们的动态手势，并将相关信息传入 VR系统中。

      

• 目前可以绑定在 HTC Vive 的头显设备中。

      

 

***  Leap Mothion技術　***

• VR是一个3D的影像的输出，当您戴上头盔，进入一个3D的世界，您要怎么跟它互动？

• 你裸手就可以互动了。在虚拟世界里，我们可以做到一些现实生活中做不到的许多事情。

        　　　

• Leap Motion手指操控设备，依赖内置的两个摄像头从不同角度来捕捉画面，建立出手掌在真实世界三维空间的运动模型。

• Leap Motion设备先建立一个直角坐标系，坐标原点位于设备的中心，X轴平行于设备，指向屏幕右方。Y 轴指向上方。Z 轴指向背离屏幕的方向。单位是毫米。如下图：
  

• 使用时，Leap Motion设备会持续侦测并定期发送关于手的运动信息，每份信息称为<帧>( frame )。每个帧包含了：手掌、手指、手持工具(例如一枝笔)等对象(object)的信息。每个对象都有一个标识符(ID)，当手掌、手指、工具保持在视野范围内时，其ID是不会改变或遗失的。

• Leap Motion根据每帧和前帧的信息数据，建构出运动模型。例如，当手握着球旋转、两只手靠近或分开表达缩放等。此运动模型包含：旋转的向量和角度(顺时针为正）、缩放因子和平移向量等。

• 例如，手的运动模型，包括下述信息：手掌的中心位置(三维向量，相对于设备坐标原点的3维向量)、移动速度、法向量、朝向方向。此外，还有根据手掌弯曲的弧度而建立的虚拟球体的中心和半径等。其中，手掌的法向量和方向，如下图所示：

　 

• <手掌球>的圆心和半径，就如下图：

 

• 对于每个手掌，都可建构出平移、旋转、缩放(如手指分开、聚合)的信息模型。

• 手中可以持着长形的物体(例如一枝笔)，也可以建立这手持物体(工具)的运动信息模型，包括长度、宽度、方向、速度等。

   

• 还有手指尖的运动方向、速度等：

        

• 于是，我们的VR App软件代码(或脚本)，就能根据这些手掌、手指和工具的运动模型的信息和变换，来给观众做出视觉显示、触觉反馈等各项体验输出了。

 

PS.建议参考下列文章：

1.Leap Motion发布应用《Blocks》，现已上架Rift/Vive(2016/６/24) 

• VR体感外设公司Leap Motion此前专为旗下Orion项目打造了一款名为《Blocks》的演示应用，如今该应用已在HTC Vive和Oculus Rift头显上正式发布。 

• 玩家可以在VR世界中创造任意形体、与之互动甚至操纵重力。玩家可以随意叠放方块、通过手指来捏造各种各样的形体。他们还能像上帝般用手更改这些物体的重力系统：让其上升、下落或是在空间内漂浮都不在话下。

• 《Blocks》专为Leap Motion即将发布的互动引擎Leap Motion Orion开发设计。Orion可仅通过手部追踪来实现用户与虚拟物体的物理互动。

• 该引擎专为VR设计，它不仅更快、更流畅、更可靠，更是自始至今功能最强大的体感互动引擎。这次根本性的改变也促使我们在今天将Orion相关应用搬上头显商店，来方便开发者们为VR探索全新的体验方式。 

  ==> 詳細內容

2.Leap Motion手势识别大揭秘(2016/5/20) 

• Leap Motion是基于双目视觉的手势识别设备。  

• 双目视觉就是有两个摄像头，利用双目立体视觉成像原理，通过两个摄像机来提取包括三维位置在内的信息进行手势的综合分析判断，建立的是手部的立体模型。这种方法对于用户手势的输入限制较小，可以实现更加自然的人机交互，但由于需要进行立体匹配，且由于立体模型的复杂性，需要处理大量的数据，计算相对来说较复杂。

• 要实现双目手势识别首先需要对双目摄像头做标定，即计算空两台摄像机在空间中的相对的几何位置关系（包含旋转矩阵和平移向量），通俗讲就是使得两台摄像机所成的影像显示在同一水平线上。

• 从双目摄像头采集操作者手势动作的左右视觉图像，经过立体标定后获取经过校准的立体图像对后，进行立体匹配，获得视差图像，再利用摄像机的内参数及外参数进行三角计算获取深度图像。

• 然后对左（或右）视觉图像使用手势分割算法处理，分割出的人手所在的初始位置信息，并将该位置作为手势跟踪算法的起始位置。再使用手势跟踪算法对人手运动进行跟踪。再根据跟踪得到的结果进行手势的识别。需要说明的是，如果跟踪目标消失，则重新进行手势分割，再重复上述步骤。

• ==> 詳細內容

3.深度神经网络(DNN)用到VR会是什么样子?(2016/3/20)

• 目前VR领域中应用到DNN技术的包括语音识别、手势识别等方面。

• 传统的手势识别方法主要有两种：基于数据手套的手势识别方法、基于電腦视觉的手势识别方法。

• 而基于電腦视觉的手势识别方法以其不依赖于设备，更自然的人机交互效果，更好的沉浸感成为当今研究的热点。基于電 腦视觉手势识别从摄像机中得到手势图像信息，经过适当的数据预处理之后从图像中分割出手势，对分割得到的手势进行特征提取后，利用已经建立好的手势模板进行分类。

• 传统的分类方式有模板匹配、基于指尖检测方法等，但这些方法都需要人工从图像提取出目标特征，编写模板来匹配。随着深度学习神经网络被提出，基于深度学习神经网络(DNN)的手势识别也应运而生，这种手势识别算法相比于传统手势识别算法在各个方面均有非常大的优势。

• VR行业面临的一大技术难题就是海量数据的处理，对于手势识别技术更是如此，手部有非常多的关节，需要非常强的识别能力才可以准确的识别每个精细动作。而深度学习模型的多隐藏层结构使得模型能有效利用海量数据进行训练，所使用数据越多模型性能越高，非常适合在VR环境下做手势识别。

   ==>詳細內容

4.微软黑科技：娱乐主要靠手

• 目前 VR 系统的产物有 Oculus Rift 和 HTC Vive，它们需要用户持有特殊的运动追踪控制器与虚拟世界交互，并起着减少不良体验的作用。

• 在VR中，头显只是故事的一半。在虚拟环境中体会全沉浸感，离不开身体的协调，运动追踪技术至关重要。市面上已有各式各样的VR头显输入设备，最打眼的就是HTC Vive控制手柄——通过附加一层手柄来增强VR的真实感。

• 微软公司正致力将手的动作和手势引入VR虚拟世界。微软英国研究院计算机视觉首席研究者杰米·肖顿（Jamie Shotton）说，“我们如何与真实世界交互？我们抓取物品、用手指触碰、把玩。所以，我们应该一样能接触到虚拟物品。”

• 微软的研究人员正在研究利用便宜的传感器，比如Xbox Kinect传感器(作为一款游戏来说，它从未真正成功过，但确实是一款很棒的研究工具)，方便电脑追踪用户的手和手指的精确运动。定制软件利用 Kinect 捕捉到的深度数据，能够跟踪人手形成的一系列点，并运用这些数据来重建虚拟世界中的物件,这样就可以有效地与其他虚拟对象进行交互。

       ==>  詳細內容

 

~ end ~