AbolDeepIO: A Novel Deep Inertial Odometry Network for Autonomous Vehicles文献阅读

AbolDeepIO: A Novel Deep Inertial Odometry Network for Autonomous Vehicles

AbolDeepIO:一种新型的自动驾驶汽车深度惯性里程计网络

一、介绍

在惯性里程计领域内,传统的方法通过传感器获取IMU(惯性测量单元)的信息,并将测量后的数据通过IMU基准转换到世界基准内,接着通过数学模型预估IMU的方向和速度,来预测机器的运动。

而本文基于的新方法,即深度学习方法,同样使用传感器获取IMU信息,但是用获取的信息来训练深度学习网络模型,使用聚合特征向量能同时结合视觉和惯性信息,以获取更好的效果,最后将网络输出的信息用于预测机器的运动。

具体对比如下图:

在这里插入图片描述

在此基础上,本文还提出了一种新的网络结构,效果比目前所有的相关网络都要好。它包含了三通道结构,以发掘分别对应加速度计、陀螺仪和采样时间合适的特征表示,并在输入层包含了噪声网络,使其对噪声和异常值具有鲁棒性。

详细地说,本文根据 IMU 的不同测量类型,提出了一种新颖的三通道长短期记忆 (LSTM) 网络架构。
首次使用 IMU 采样时间(两个连续 IMU 读数之间的时间间隔)作为惯性网络的另一个输入,这是从 IMU 测量中估计传感器运动的关键输入。
首次在深度惯性里程计网络的制定中考虑 IMU 传感器的噪声模型,并为所提出的网络架构的每个通道使用特定的高斯噪声层对其行为进行建模。
将 IMU 测量值拆分到特定窗口,并根据论文中讨论的不同方法学习用于拆分的顺序网络。
讨论和评估用于自动驾驶汽车和智能手机的视觉惯性里程计方法使用的不同惯性里程计网络架构,并比较它们的性能、优点和缺点。

二、提出的方法

对于加速度计,其采集的信息单位为 m / s 2 m/s^2 m/s2,而陀螺仪采集的信息单位为 r / s r/s r/s,因此简单地将二者的关联到同一输入空间是不可取的,有一种方法是将二者标准化后再进行关联,可是由于二者噪声分布的不同,这样会使噪声难以被模型学习。

此外,IMU的采样延迟也应该重点考虑。

对于噪声,加速度计和陀螺仪的噪声通常服从方差不同的0均值高斯分布,对于方差,可以使用概率密度函数将其区分提取,概率密度函数的参数由IMU的提供商提供。

作者使用了三个通道分别学习它们的特征表示,并使用缓慢聚合网络提取出有意义的特征表示,具体结构如下图所示:

在这里插入图片描述

值得注意的是,加速度计和陀螺仪都是(N,3)维的变量,而采样时间是(N,1)维的变量,其中N取决于窗口化的大小,例如。对于100Hz采样IMU来说,如果窗口有10个,则N=100/10=10,10个窗口分别包含了10个连续的IMU读数。由于IMU的读数每秒都是独立的,每个窗口在计算时都要包含当前t、过去t-1、和未来t+1的数据(包含未来的数据,也是本文的创新点之一),这也是由于IMU采样频率通常很高而做出的选择。

对于可加性零均值高斯噪声,每层LSTM网络层(N1、N2、N3)先是独立地提取数据的特征表示,并且由于噪声的突变通常很尖锐,很有必要在网络中随机舍弃某个单元、以防止过拟合。

这些过程之后,网络已经学习了将IMU测量空间映射到特征空间的能力,此时在网络结构的第二步,三者的特征信息都将互相联结,网络可以在这一步学习到将不同的输入映射到相同特征空间的能力。

在联结完毕后,LSTM的N4层将这种高纬度的特征映射为IMU的平移与旋转的位移量,网络的输出为 Δ L 、 Δ θ \Delta L、\Delta \theta ΔLΔθ,即为连续IMU数据在3维世界中表现的数据类型。对于IMU数据, Δ L 、 Δ θ \Delta L、\Delta \theta ΔLΔθ的定义为:

Δ L t = Σ i = 0 t d p x i 2 + d p y i 2 + d p z i 2 \Delta L_t=\Sigma_{i=0}^{t}\sqrt{dp^2_{x_i}+dp^2_{y_i}+dp^2_{z_i}} ΔLt=Σi=0tdpxi2+dpyi2+dpzi2

Δ θ t = Σ i = 0 t d q w i 2 + d q x i 2 + d q y i 2 + d q z i 2 \Delta \theta_t=\Sigma_{i=0}^{t}\sqrt{dq^2_{w_i}+dq^2_{x_i}+dq^2_{y_i}+dq^2_{z_i}} Δθt=Σi=0tdqwi2+dqxi2+dqyi2+dqzi2

其中,t = N代表在窗口中[0,N]范围内的某一步。 d p x i 、 d p y i 、 d p z i dp_{x_i}、dp_{y_i}、dp_{z_i} dpxidpyidpzi代表传感器在3维笛卡尔坐标系中的位移, d q w i 、 d q x i 、 d q y i 、 d q z i dq_{w_i}、dq_{x_i}、dq_{y_i}、dq_{z_i} dqwidqxidqyidqzi代表两个连续的四元数坐标系下的IMU测量值的位移。这些是由于IMU的测量数据并不是基于世界坐标系而决定的,所以直接输出x、y、z变得几乎不可能。

因此,模型输入输出的变换为:

( a ^ , w ^ , Δ T ) N ∗ 7 → ( Δ L , Δ θ ) (\hat a,\hat w,\Delta T)_{N*7}\rightarrow (\Delta L,\Delta \theta) (a^,w^,ΔT)N7(ΔL,Δθ)

其中,数字7表示输入数据的大小(加速度计3,陀螺仪3,采样时间1)

损失函数定义为:

p ∗ = a r g p m i n l o s s ( F p ( a ^ , w ^ , Δ T ) , ( Δ L , Δ θ ) ) p^* =arg_pminloss(F_p(\hat{a},\hat{w},\Delta T),(\Delta L,\Delta \theta)) p=argpminloss(Fp(a^,w^,ΔT),(ΔL,Δθ))

l o s s = λ 1 Σ i = l N ( Δ L i ^ − Δ L i ) 2 + λ 2 Σ i = l N ( Δ θ i ^ − Δ θ i ) 2 loss=\lambda_1 \Sigma_{i=l}^{N}\sqrt{(\Delta \hat{L_{i}}-\Delta L_{i})^2}+\lambda_2 \Sigma_{i=l}^{N}\sqrt{(\Delta \hat{\theta_{i}}-\Delta \theta_{i})^2} loss=λ1Σi=lN(ΔLi^ΔLi)2 +λ2Σi=lN(Δθi^Δθi)2

损失函数要最小化数据预测值 F p F_p Fp与实际的 Δ L , Δ θ \Delta L,\Delta \theta ΔL,Δθ之间的差别。其中i为时间步数。

本文试验了两种训练方式,如下图:

在这里插入图片描述

一种是多对一训练方式、而另一种为多对多,由于多对多训练的方式能获取更全面的目标信息,因此不论是实验还是结果都证明多对多训练方法表现更为优异。

三、实验与结果

作者使用了公开的MAV数据集进行训练和测试,并同时测试了IONet、 IO of VINet以及广受欢迎的传统方法SINS的表现,并测试了不同窗口大小对结果的影响,具体结果如下表:

在这里插入图片描述

在这里插入图片描述

并测试了不同方法下,误差传播随时间的变化如下图:

在这里插入图片描述

可以看出误差传播速度是最小的,并且窗口的大小对此并无明显影响。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
DM-VIO是一种基于延迟边缘化的视觉惯性里程计(Visual-Inertial Odometry)算法。视觉惯性里程计是一种通过分析相机和惯性测量单元(IMU)的数据来估计相机在三维环境中的运动的技术。DM-VIO通过边缘化传感器测量历史来实现优化过程,以提高姿态和位置估计的准确性。 传统的VIO算法通常会使用非线性优化方法来进行估计,但是由于计算能力和传感器延迟的限制,实时性和鲁棒性方面存在一定的挑战。DM-VIO通过引入延迟边缘化的方法,将传感器测量历史进行边缘化处理,从而实现了良好的实时性能。 具体来说,DM-VIO首先对传感器数据进行预处理,包括惯性测量单元的时间戳校准和相机的畸变校正。然后通过非线性优化方法估计相机的位姿和速度。在优化过程中,DM-VIO使用延迟滑窗来处理传感器延迟问题,将最近的一段时间内的测量数据一起进行优化,并通过边缘化处理来移除旧的数据。 DM-VIO算法的优势在于它能够有效地处理传感器延迟,并且在保持良好的实时性能的同时提高了估计的准确性。通过考虑传感器测量历史,DM-VIO能够更好地捕捉相机的运动特性,并减少噪声和误差的影响。 总之,DM-VIO是一种基于延迟边缘化的视觉惯性里程计算法,通过处理传感器延迟和优化历史测量数据,它能够实现更好的实时性能和准确性,对于自主导航、增强现实等应用具有重要的意义。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猪里程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值