自研多模态追踪算法 PICO 为「手柄小型化」找到新思路

作者：张韬、林泽一 、闻超 、赵洋

研发背景

作为头戴的追踪配件，VR手柄可以通过HMD（头戴显示设备）的inside-out光学追踪定位原理，计算出手柄的空间运动轨迹，同时结合6轴传感器实现6DoF空间定位。与此同时，结合手柄控制器的物理按键、马达反馈、摇杆等，用户还能获得逼真、细腻的触觉反馈，进一步增强虚拟现实人机交互的能力以及沉浸感，这也是目前无手柄方案所难以实现的。

目前主流VR手柄的追踪技术方案，包括光学追踪、自追踪和电磁追踪方案。

因精度高、功耗低、成本低，光学追踪是目前最主流的VR手柄追踪方式。为了保证IR灯（红外灯）不易受遮挡，通常手柄本体上都带有一个明显凸起的追踪光环。

但为了顺应VR设备小型化得趋势，提升用户携带的便利性，并提供更自然的交互方式，PICO取消了手柄上的追踪光环，选择在手柄本体有限区域内布置少量的IR灯。

Centaur多模态融合算法架构

更小的手柄、更少的IR灯，也意味着更频繁的遮挡。如何解决遮挡情况下的手柄追踪问题，则是PICO研发团队面临的关键课题。

基于团队在光学追踪与裸手追踪方面的技术积累，PICO创新性地提出了一套基于神经网络的多模态手柄追踪架构，其融合了惯性测量单元（IMU）、光学传感器和手部图像信息。在手柄被遮挡的情况下，裸手追踪能够提供更加精准的观测，同时手柄又能为手部追踪提供准确预测，两者深度融合、相互辅助。

裸手追踪

由于手柄的遮挡，通常裸手视觉特征并不明显，这也常常会引发追踪失效。针对该难点，裸手算法团队创新性地提出Down-Top的端到端6DoF追踪算法，通过有效利用多目时序的全局上下文信息，一次性准确且稳定地预测手柄位姿信息，能够在手柄追踪失效时，及时提供鲁棒的6DoF位姿。

1. 模型背景

目前普遍的裸手追踪算法是基于Top-Down结构，即基于Detection模型检测出手部的bounding-box框，再利用bounding-box框将手部抠选出来，如下图所示：

该结构可以获得更高的精度，但是在平举、自然垂下等特殊动作场景中，由于小手柄遮挡或离得较远等原因，手部放大之后模糊的地方较多，如下图所示：