Hololens SpectatorView（一）

 

spv介绍以及spv和mrc的区别

---------------------------------------------------------------------------

 参加过HoloLens体验展的朋友们都曾反馈过一个信息，佩戴HoloLens时，混合现实产生的真实感固然不错。但是其他排队等待体验的人却无法体验到佩戴者所观测的场景，而由于HoloLens的混合现实技术与真实环境存在很多交互设计，所以在其他没有佩戴HoloLens的人们眼里，大家观看这些佩戴者的演示动作未免会显得有些“奇怪”。

  在之前的项目分享中，我们试用过HoloLensMixed Reality Capture（直接在pc上访问HoloLens ip打开home）界面，结果发现画面并不是很清晰，而且有一定的延迟，展示效果不是很好。借鉴到微软产品发布时使用的第三人称视角，视角比较好而且可以自由调整画质，所以来尝试下。

我们先来大致熟悉一下什么是Spectator View？

     MRC系统是以第一人称视角来捕捉混合现实画面并将其投射在屏幕上，而spv是以第三人称微视角录制的。

     Spectator View是一套解决高清混合现实画面，同时实时捕捉并录制的工具。做到这点，从硬件上首先需要有两台HoloLens、一部支持HDMI输出的摄录设备和一套高性能计算机来支持。

 

这是官方给出的示意图，事实上我们在实际运用的时候是这样的

（那个摇臂不知道用来干森么，我们没有）

顶部支架的HoloLens为混合现实画面提供空间坐标信息，HDMI单反捕捉采集真实环境，再将两者信息传输回PC中，预制在PC内的虚拟物件结合真实环境和坐标位置进行实时合成渲染，形成最终屏幕上看到的混合现实画面。

相较于依靠HoloLens成像方式的MRC系统，Spectator View具有以下特性：

• 支持高清混合现实画面录制

• 多人视角协同

那么对比MRC系统，它的独特优势又有哪些？

MRC图像输出视角我们知道是以佩戴者第一人称视角看到的混合现实画面实时同步到屏幕上，而Spectator View在视角上借助单反等摄像设备，可以做到以第三人称视角捕捉混合现实画面，捕捉到包含佩戴者在内的混合现实画面视角。

视野更为广阔

由于MRC上的画面来自于HoloLens上200万像素的RGB摄像头，而Spectator View对于外接影像录制设备，具有HDMI接口的摄录装置都可以连接, 使用者可以根据环境的不同来选择摄录装置。输出画面分辨率可以达到1080p甚至4K左右。同时依靠单反等HDMI影像录制设备可以提供更旷阔的视野。

成像方式不同

Spectator View是将HoloLens上的部分运算移植到了具有更强计算能力的PC上，而对真实环境的捕捉也从只有200MP的RGB摄像头升级到了更好画质的单反，无论是虚拟环境还是真实环境画面的表现上，质量自然向前递进了一个层级。

HoloLens作为光线增强型设备本身具有的一些特性，如Unity中虚拟物体阴影设置，黑色不显现这类的特性，通过MRC上观测到的虚拟物体也受到这类的限制，画面真实感会大打折扣。而Spectator view是由显卡渲染到屏幕的方式，完全不受这类条件的制约。传统游戏渲染级别的画面在Spectator view显像端同样都能做到。

渲染效果提升

由于HoloLens自身运算能力有限，在利用MRC进行混合现实录制时，不能够完全展现出佩戴者所观测到的真实感。这是因为Unity工程在HoloLens上的结构所造成的，在HoloLens中，Unity所渲染的画面因为设备的计算限制，在部署时模型质量只能调设到最低质量（Fastest Quality），法线贴图、投影等效果在用HoloLens体验时，会被自动过滤。无法在HoloLens中观测，所以MRC屏幕展现自然也没有这些特性，而Spectator View的画面之所以能有质的飞跃，一方面因为图像采集摄像头的升级，另一方面要归功于PC更强的运算能力。渲染过程从HoloLens移植了PC，使其渲染方式回归到了传统的显卡渲染模式，自然运算能力也大幅提升。但凡Unity在HoloLens开发中的一些模型效果选择发布在Spectator view时统统可以勾选为高质量（Fantastic），效果表现会大大提升。