16.1 神经惯性定位

文章来源：

Sachini Herath and David Caruso and Chen Liu and Yufan Chen and Yasutaka Furukawa Neural Inertial Localization Computer Vision and Pattern Recognition (2022):

研究背景：

问题的提出

想象一个人站起来，走3米，向右转，打开一间办公室的门。这些信息可能足以确定一个人的位置。最近惯性导航技术的突破[10,14,22]允许我们使用惯性测量单元(IMU)获得这样的运动历史，即：整合来自经过训练的神经网络的平均速度估计，可以仅使用来自行人手携带设备的IMU数据进行高精度的二维轨迹重建。

现在缺少的是将运动历史映射到某个位置的技术。本文针对这一空白，试图在定位研究中开辟一种新的范式，即“惯性定位”，其任务是从IMU传感器数据序列中推断位置。

https://sachini.github.io/niloc
[10] Sachini Herath, Hang Yan, and Yasutaka Furukawa. RoNIN:Robust neural inertial navigation in the wild: Benchmark,evaluations, & new methods. In 2020 IEEE International Conference on Robotics and Automation (ICRA), pages 3146–3152. IEEE, 2020.
[14] Wenxin Liu, David Caruso, Eddy Ilg, Jing Dong,Anastasios I Mourikis, Kostas Daniilidis, Vijay Kumar, and Jakob Engel. TLIO: Tight learned inertial odometry. IEEE Robotics and Automation Letters, 5(4):5653–5660, 2020.
[22] Scott Sun, Dennis Melamed, and Kris Kitani. Idol: Inertial deep orientation-estimation and localization. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 35, pages 6128–6137, 2021.

文献[10]RoNIN

图1 惯性导航是一种仅从一系列IMU传感器数据来估计运动物体的位置和方向的问题。本文提出了一种新的基准测试，新的算法，以及对现有的惯性导航技术的广泛评价。

 惯性测量单元（Inertial Measurement UnitIMU）是加速度计、陀螺仪和磁强计的组合。

图2。左图：我们的双设备协议允许受试者自由处理IMU手机，同时依赖于身体安装的3D跟踪手机来产生地面真实的运动轨迹。右图：在数据收集之前，我们校准IMU传感器的偏差，并在空间和时间上对齐两个设备。数据收集结束后，我们再次对两个设备进行空间对齐，以评估IMU设备方向上的累积误差。

 文中开发了一种双设备数据采集协议，我们使用线束将一个3D跟踪手机（华硕Zenfone AR）连接到身体上，让受试者自由处理另一部手机进行IMU数据收集

图3. RoNIN架构：神经网络模块为绿色，转换层为白色。
文中使用了上图中的三种架构来证明文中的思想具有普遍性。文中使用LSTM网络应用相同的原理来估计身体方向。

文献[14] TLIO

图1。一个由TLIO从单一MEMS IMU估计的3D轨迹例子，显示用户在楼梯上上下行走。我们的方法在三维空间中估计了完整的方向和平移：在左边，我们显示了估计的x、y、z位置（蓝色）以及相关的不确定性（红色的±3σ）。在右边，我们展示了所得到的三维轨迹。对于这两个图，我们展示了最先进的视觉惯性测程法（绿色）的输出，以供比较。

提出了一个完整的状态估计系统，将神经网络和EKF紧密结合在一起，联合估计位置、方向、速度和IMU偏差，仅使用行人IMU数据。

神经网络提供了一个统计运动模型

系统以IMU数据作为输入，并有两个主要组成部分：网络和滤波器。图2显示了该系统的高层关系图。

第一个组件是一个卷积神经网络，通过训练来回归给定在两者之间的IMU数据段的两个时间实例之间的三维相对位移和不确定性。

文献[22]IDOL

使用神经网络，称为定向网络（方向网），将IMU测量值转换为一个三维方向和相应的协方差估计。

该网络由两个部分组成： (1)一个方向网络，根据提供的加速度、角速度和磁力计读数估计设备的方向；(2)一个扩展卡尔曼滤波器，以陀螺仪读数进一步稳定网络输出。

图1.从IMU测量值到位置估算值。给定惯性传感器数据（左），我们的方法（中心）使用神经惯性导航技术来找到速度向量序列；然后训练一个基于特定场景的Transformer的神经结构，将速度序列映射到一个位置可能性。图中显示了来自我们的办公室数据集的样本本地化结果。颜色表示输入（左）、中间表示（中间）和位置（右）之间的时间对应关系。

摘要

本文介绍了一种新的惯性定位问题，即从惯性测量单元的测量历史中估计位置。
本文提出了一种有效的解决方法，即神经惯性定位(NILoc)。NILoc首先使用神经惯性导航技术[10]将IMU传感器数据转换为速度向量序列，剩下的任务是将速度序列映射到某个位置。在这个剩余的任务中的高不确定性是惯性定位的挑战。例如，一个静止的运动可以在任何地方，一个短的向前运动可以在任何走廊。
为了克服这种不确定性，我们的方法采用了基于Transformer的神经结构[27]（能够编码复杂的长序列数据），带有时间卷积网络（通过压缩输入序列长度进一步扩展时间容量）和自回归解码器（处理任意长的序列数据）。

本文的贡献有三个方面:1)一个新的惯性定位问题，2)一个新的惯性定位基准，3)一个有效的神经惯性定位算法。我们将分享我们的代码、模型和数据。

[27] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pages 5998–6008, 2017.

2. Related Work

3. Inertial Localization Problem |惯性定位问题

惯性定位是指仅根据IMU传感器数据的历史记录来估计受试者在环境中的位置的任务。有一个训练阶段和一个测试阶段，即不使用平面图或外部位置信息。在测试过程中，输入是一系列加速度（加速度计）、角速度（陀螺仪）和选择性的磁场（罗盘）测量，每个测量都有3个自由度。当地面真实位置可用时，输出是对一组给定时间戳的位置估计。在训练期间，我们有一组输入的IMU传感器数据和输出位置。

度量：定位精度通过1）距离阈值（1、2、4或6米）[24]内正确位置估计的比率（%）；和2）角阈值(20或40度）内正确速度方向的比率（%）来测量。位置比是主要指标，而方向比衡量时间一致性。

再定位任务扩展：我们提出了一个惯性再定位任务，它不同于惯性定位，因为位置R2（以及可选的运动方向SE (2)）是预先已知的。该任务代表了一种场景，即使用WiFi在几分钟内获得一次全局位置，同时使用IMU传感器重新定位自己，以提高能源效率。

4. Inertial Localization Dataset |惯性定位数据集

我们提供了第一个惯性定位数据集，包含了来自两所大学建筑和一个办公空间的53小时的运动/轨迹数据。表1总结了数据集的统计数据，而图2可视化了覆盖在一个平面图上的所有地面-真实的轨迹。每个场景跨越一个平坦的地板，其位置是一个二维坐标，没有垂直位移。如果可用，将为场景提供一个平面图图像，用于定性可视化，它描述了建筑结构（如墙壁、门和窗户），但不包含临时对象，如椅子、桌子和沙发。

图2.惯性定位数据集包含三个建筑物中基于视觉惯性SLAM的IMU测量值和地面真实位置。地面-真实的轨迹在这里用随机的颜色显示，覆盖在各自的平面图上。（图像尺寸以米为单位）。

数据收集：我们用智能手机收集IMU传感器数据和地面真实位置。在未来，AR设备（例如，Meta的Aria眼镜，Snap的眼镜）将允许收集以自我为中心的数据集，使用紧密耦合的IMU和相机数据。我们在这项工作中使用了两种设备；1)手持3D跟踪手机（谷歌Tango，AsusZenfone AR）内置视觉惯性SLAM能力，产生地面真实相对运动，其中Z轴与重力对齐；2)标准智能手机，在自然电话处理下记录IMU传感器数据（例如在口袋、手或用于呼叫等）。我们利用探戈区域描述文件[6]对齐地面真实轨迹到一个公共坐标系，然后手动与平面对齐平面。大学A包含来自RoNIN数据集[10]的数据，手动对齐到一个平面图。IMU传感器数据和地面真实位置都记录在200Hz。

测试序列：我们随机选择六分之一的轨迹作为测试数据，其平均持续时间为13.3分钟。我们还通过从每个测试序列中随机裁剪三个子序列（100米），形成了一组固定长度的短子序列进行测试。

NILoc数据集被去识别，以掩盖被试者的身份，并且不包含任何图像或视频数据。

5. NILoc: Neural Inertial Localization |NILoc: 神经惯性定位

 我们的NILoc系统利用了神经惯性导航技术[10]，将IMU传感器数据序列转换为速度向量序列，而不是从IMU测量数据回归位置，我们的核心任务将是将速度向量转换为位置估计。
NILoc采用了具有两个基于Transformer的网络分支[27]的神经体系结构，能够使用复杂运动数据的长历史来减少不确定性。

 ”速度分支”编码速度向量序列，其中时间卷积网络压缩时间维度以进一步增强时间感受野。
“自回归位置分支”编码一个位置可能性序列，能够在较长的视距上自回归生成位置估计。每个场景给定训练数据，对网络进行训练。

TA: Translation Aware

图3.神经惯性定位系统示图。我们使用两个分支变压器架构来估计从速度输入的位置似然。仅在训练中使用的路径显示为虚线。