Inside-out追踪技术浅析

什么是Inside-out空间定位技术，简单来说就是利用设备自身，而不依靠外部的传感器等配件，实现虚拟场景里的空间定位，以及更多的人机交互。

皮克斯动画电影《头脑特工队》中把人的大脑构想成某个世界，在这个世界里有几个小精灵工作于大脑控制中心，负责控制人的行为。电影中采用虚拟和现实两条平行的主线，一条是主人公Riley的现实世界发生的事情，另一条是Riley大脑中分别代表不同情绪的五个小精灵所经历的事情。

可以这么认为，电影中的五个情绪控制小精灵是一个人工智能“小眼睛”，这个机器小眼睛被“植入”到你的头戴显示设备中，负责追踪你和现实世界中的一举一动，并通过计算机视觉算法同步到眼前的虚拟场景中，实现实时的多维度人机交互。这个“小眼睛”其实就是Inside-out空间定位技术最核心的部件，能够取代外置的追踪设备，就像你的大脑一样工作，由内而外，达到在虚拟和现实环境中的定位以及更多的人机交互功能。

    Inside-out定位跟踪原理

Inside-out是一种光学跟踪系统，光源发射装置安装在被跟踪目标上，获取光源信号的传感器/标记点固定在使用环境中，其原理都是以三角定位算法为基础，测量目标反射或者是主动发射的光线，并经过计算机特殊的视觉算法可转换成目标的空间位置数据，从而实现对目标的位置跟踪。

在VR设备领域，主要是在VR头显上安装摄像头，让 VR 头显自己检测外部环境变化，借助计算机或者自身的算法芯片计算出 VR 头显的空间位置。

而根据光源发射装置（摄像头）数量，可分为多目视觉定位（如微软HoloLens），单目视觉定位（如蚁视二代VR头盔）

   国内外技术发展现状

微软的AR 头显hololens，采用的就是inside-out方式，它拥有一颗深度摄像头，一颗用以拍摄图像/视频的200万像素摄像头，以及4颗环境感知摄像头，采集环境中的特征点进行匹配，利用SLAM算法获得空间位置信息。而近日微软与联想、惠普、戴尔、华硕和宏碁几家合作的VR头显，同样采用了 inside-out 空间定位系统。

Oculus 首席技术官 John Carmack 曾在去年9月召开的第二届开发者大会上表示，可用于移动头显的 inside-out 追踪技术“是我现在想要解决的一个问题，在今年的Oculus Connect大会上，扎克伯格公布了一款正在开发的VR一体机产品Santa Cruz，这款产品除了将计算单元都集成到头盔中，还在前面增加了4颗摄像头。

而同样用到多颗摄像头的还有Google的Tango系统，首款搭载Tango系统的联想Phab2 Pro手机背部除了普通的摄像头外，还有有一颗深度摄像头和一颗运动追踪鱼眼镜头。分别由Oculus、微软和Google推出的这三款产品，虽然对外展示的产品形态迥异，核心却都是Inside-out追踪技术。在Google从事Tango开发的技术Johnny Lee表示，Tango所用的Inside-out定位和微软的HoloLens很像，只不过Tango目前仅用在手机上，而HoloLens用的设备是头盔。

在国内，VR领域的创业公司蚁视早在去年美国E3展会对外展示了其自主研发的位置追踪系统——全息甲板(HoloDeck)，在头盔的底部前方内置了一颗红外摄像头，通过捕捉地面的标记点，追踪头盔佩戴者的的水平空间位置和垂直高度，实现在虚拟世界中随意行走。而在今年7月份蚁视正式推出了配置inside-out单目红外位置追踪技术的VR头显。

多摄像头、单摄像头孰优孰劣？

其实，无论是微软、Oculus、Google推出的多摄像头方案，还是蚁视研发的单目红外摄像头方案，都属于Inside-out技术追踪方案，那么就目前VR技术发展的阶段，两种解决方案孰优孰劣呢？

多摄像头解决方案，在VR/AR头显内置一个高性能运算芯片，通过多个摄像头与外部空间的任何一点（被追踪目标）确定三角定位法则，经过内置芯片计算出目标的空间数据，而外部并不需要放置标复杂的记点。然而该方案的缺点是芯片数据运算量较大，而且成本相对较高，目前市场上鲜有能满足要求的运算芯片。

以微软hololens为例，最早是在2015年1月份，微软在其开发者大会上展示的项目，当时由于使用者能通过 HoloLens 与虚拟世界中的物体产生交互，一时成为当时的热点。它无需架设额外的辅助识别设备，只需要依靠机器上的摄像头即可进行实时的场景扫描。不过，HoloLens内置的运算芯片成本高达几百美金，这也直接导致其高昂的产品售价。

单目摄像头解决方案，是在VR头显内置一颗摄像头，与外部标记点中的任何两点形成三角定位法则，通过计算机的特殊算法计算出目标物的空间位置。该方案的优点是电脑CPU运算量较小，成本也相对比较低，目前市场上配置较高的电脑都可以流畅的运行。缺点是需要在外部空间中设置大量标记点，占用太多空间面积。

以蚁视二代VR头盔为例，头盔前方底部配置了一颗红外摄像头，搭配模块化设计的蚁视VR定位地毯。摄像头周边的红外灯向外发射红外光，通过地面铺设的定位地毯上的标记点反射回摄像头，经过计算机特殊的视觉算法，从而计算出目标物的空间位置。因此，必须要有足够的空间铺设标记点才能实现空间定位功能。

   未来发展趋势

目前来说，眼下的高端VR设备，包括Oculus Rift和HTC Vive，全都是用的“outside-in”位置追踪技术，可以进行房间级的定位追踪，但是要想达到最好的体验效果，你需要在房间里精心布置传感器的摆放或者悬挂位置。如果你想把 VR 体验场地换到另外一个房间，传感器的摆放就又得重新布置。同样，蚁视的单目红外Inside-out追踪方案，也面临类似问题。

蚁视CEO覃政在接受媒体采访时表示，就目前缺乏高性能运算芯片的VR发展阶段而言，单摄像头方案既经济又合理，不过随着芯片技术的发展和进步，特别是视觉算法芯片的运算效率的提升，不依靠外部标记点的多摄像头Inside-out追踪方案一定是未来VR设备发展的趋势，VR能够真正成为的“无线”体验，让人们在 VR 世界里拼接利用肢体和手势进行交互。

如果把HoloLens改用非透明的屏幕，并将视场角扩大到110度，那就成了一款可以秒杀目前所有VR头显的一款高性能VR设备。加入微软的南加大MR专家Mark Bolas曾撰文表示，微软HoloLens当中拥有“Inside-Out”追踪技术可用于VR头显设备，而这也基本上已经可以确定微软未来的VR发展方向，这或许也正是国内外VR厂商正在努力的方向。