XR核心算法 - 6DoF

顺其自然~

已于 2024-04-30 09:11:58 修改

阅读量512

点赞数 1

文章标签： xr 算法

于 2024-04-29 14:33:38 首次发布

原文链接：https://zhuanlan.zhihu.com/p/638367253

版权

一、简介

6DoF（Six degrees of freedom tracking，六自由度追踪）是指用户可以在物理空间内任何位置、任何方向自由地观看节目素材。用户移动可以被传感器或输入控制器捕获到，同时支持用户空间位移和头部姿态变化。典型的应用场景是用户自由走动并同时通过 HMD 观看 VR 视频内容。

3DoF与6DoF技术对比图一

3DoF与6DoF技术对比图二

1、3DoF的VR眼镜（设备），是指该VR设备可以检测到头部向不同方向的转动，但是不能检测到头部的前后左右的空间位移。

2、6DoF的VR眼睛（设备），指除了检测头部的转动带来的视野角度变化外，还能够检测到由于身体移动带来的上下前后左右位移的变化。

3、6DoF= 绕x轴旋转(pitch，俯仰)、绕y轴旋转(yaw，偏航) 、绕x轴旋转(roll，滚转)、沿x轴左右移动（运动）、沿y轴前后移动（波动）、沿z轴上下移动(升降)。

4、6DoF使用的惯性测量单元由3 轴加速度计+3 轴陀螺仪组成。

解释一下自由度，自由度与刚体在空间中的运动相关。可以理解为物体移动的不同基本方式。

自由度方向

自由度一共有6个，可以分为两种类型：平移和旋转。

1. 平移运动

刚体可以在3个自由度中平移：向前/后，向上/下，向左/右

平移运动

2. 旋转运动

刚体在3个自由度中旋转：纵摇(Pitch)、横摇(Roll)、垂摇(Yaw)

旋转运动

因此，3种类型的平移自由度+3种类型的旋转自由度 = 6自由度

在任意一个自由度中，物体可以沿两个“方向”自由运动。例如，电梯限制在1个自由度中(垂直平移)，但电梯能够在这个自由度中上下运动。同样，摩天轮限制在1个自由度中，但这是旋转自由度，所以摩天轮能够朝相反的方向旋转。

我们可以继续举例子，比如说主题公园。碰碰车总共有3个自由度：它只能在3轴中的2条里平移(无法像电梯那样上下移动)；然后它只能以一种方式旋转(无法像飞机那样纵摇和垂摇)。所以2个平移+1个旋转=3自由度。

无论有多复杂，刚体的任何可能性运动都可以通过6自由度的组合进行表达。例如在你用球拍击打网球的时候，球拍的复杂运动可以表示为平移和旋转的组合。

原文致敬：6-DoF相关基础知识整理_WangKingJ的博客-CSDN博客

二、AR眼镜上实现6DoF追踪

1、单摄像头

● 硬件成本低

● 易于集成到多种眼镜设计中

● 需要更专业的优化和定制

● 适用于偏静态场景

单摄像头

视频摄像头是AR眼镜的常用组件，主要用于拍摄高分辨率的照片和视频。在外观和可用性方面，将单个相机安装在眼镜上相对简单。

但是，视频摄像机通常以低频率（<60fps，大多数<30fps）运行，无法在运动中捕捉的高质量图像。 “果冻效应”和其他扭曲使得位置追踪失败。

2、单眼鱼眼摄像头

● 为6DoF追踪所预留的传感器

● 持续高频刷新6DoF追踪结果

● 会出现尺度漂移，使得虚拟物体会在场景中意外移动

单鱼眼摄像头

一些AR眼镜会配备用于6DOF追踪的单个鱼眼镜头。此解决方案会产生一些额外的功耗，但通常会为设备提供更好的6DOF追踪效果。鱼眼摄像头的高相机帧更新率（> 90fps）和全局快门功能，可以使得SLAM系统在运动场景中保持可靠的追踪位置。但单个鱼眼摄像机应放置在眼镜前面，这会产生一些设计限制。

单鱼眼摄像头比较不足的的地方在于它所支持的场景规模有限。一旦移动范围过大，SLAM系统就容易产生尺度漂移，导致虚拟对象在场景中意外移动。

3、双目鱼眼摄像头　

● 高功耗

● 追踪、尺度估算准确

● 眼镜的工业设计会面临挑战

基于双目鱼眼的6DoF追踪系统已被不同的AR / VR头戴式设备制造商证明是一种可以量产的解决方案，高通已经使用双目鱼眼视觉在其VR头盔上展示了高质量的6DoF位置追踪功能。

双目鱼眼摄像头模组

由于它提供实时的地图初始化、强大的追踪和对环境尺度的准确测量，因此额外增加摄像机所产生的功耗和成本是值得的。与单眼解决方案相比，双目鱼眼摄像头可以更快地扩展场景，并能更准确的测量环境尺度从而防止漂移。即使传感器数量加倍，计算复杂度也不比单眼视觉系统高很多。但该方案的实现需要高质量优化和定制工作，并且功耗高、发热大，需要更强的系统和硬件支持。