Spectator view——Hololens第三人称视角技术的详细实现过程

Spectator view——Hololens第三人称视角技术的详细实现过程

距离微软发布首个不受线缆限制的全息计算机设备Hololens已经快过去三个年头，而随着新技术的不断出现，MR这一曾经“万众瞩目”的技术也逐渐退出了大众们的视野。不过这也使得Hololens从刚开始研发版的“天价”变成了现如今企业版的“白菜价”，这让更多的人拥有了使用并且开发Hololens的机会。

有关Hololens的视频和文章网上有很多，在这里我只介绍一下Hololens的第三人称视角技术Spectator view以及实现这一技术的详细步骤。疑难解答和参考资料我会放在文章的最后，英语好的大佬可以直接去最后找微软给的全套英文版解决方案。

当我们HoloLens穿戴在头上沉浸于科技所带给我们的奇观时，常常会忘记那些没有佩戴设备的人无法与我们观赏到同样的景象。Spectator view技术的出现就完美地解决了这个问题，它将MR设备使用者所看到的三维图像转变成二维图像呈现在大屏幕上使观众了解到MR所展示的内容。该项技术可用于演示教学以及大型演讲的全息互动展示。

使用spectator view主要包含以下四点要素：

1.一款基于分享式全息体验（shared holographic experience）开发的、专门用于支持 Spectator View 的 app；

2.一位佩戴着 Hololens 眼镜使用该 app 的用户；

3.一台能够拍摄第三人称视角的 Spectator View 成套器械；

4.一台桌面 PC，要求能够运行上述 app，并能够将全息图（Hologram）转化成旁观者视角的视频。

 

虽然微软在GitHub上发布了全套解决方案，但是由于设备和编译环境的不同，实现过程也会有所差异，所以之后的内容主要讲的是我是如何利用微软的教程来实现Spectator view技术的。

硬件选择

1.一台支持hololens连接的电脑

系统为Windows 10

2.视频采集设备

带有HDMI输出的照相机

微软在官方教程中建议的照相机型号是Canon EOS 5D Mark III，我在这里测试和使用了三台摄像机，分别是Olympus的EM5 II，Sony的NEX-5N以及我的笔记本电脑lenovo Y50自带的摄像头，这三台设备都可以完成校准步骤。在这里要注意，有的相机HDMI输出的接口比较脆弱，可能轻轻的弯折都会导致主板损坏，因此在使用过程中要格外注意

装在电脑上用于获取HDMI信号的采集卡

微软在官方教程中推荐使用 Blackmagic DesignIntensity Pro 4K capture card，我最终选择了性价比较高的Blackmagic Design Intensity Pro，这里建议使用blackmagic design旗下的产品，如果使用其他系列的采集卡可能在后期调试过程中遇到比较多的麻烦。

3.导线

根据你所使用的照相机HDMI接口的规格来选择相对应的导线

4.固定设备

经济条件允许的话最好使用Hololens mount，3d打印的强度可能不够.我在前期测试阶段使用纸箱简单固定了一下，但必须保证HoloLens和照相机的视角都是水平的。

5.其他

螺丝刀 剪刀等等。

 

软件选择

1.  Github上微软所提供的spectator view工程文件

2  Blackmagic Capture Card SDK.

    微软建议使用blackmagic design官网上的最新版SDK，我在这里使用的是Blackmagic_DeckLink_SDK_10.9.10

3  Blackmagic Desktop Video Runtime

     这个软件在这里的作用是检测安装在电脑上的采集卡是否接收到来自于照相机的HDMI信号，通过它也可以得到不同摄像设备所对应的分辨率，以便后期调试，我从官网上下载了Blackmagic media express

4  opencv3.2

   提供后期调试和合成时所需要的与图像处理有关的函数库，这里建议将x86版和x64版都下载下来。

5  visual studio 2017