目录
D. Frame-to map Measurement Model
(2) Sparse-Direct Visual Alignment Measurement Model
摘要
VIO和LIO的紧耦合
LIO系统注册原始点(而不是边缘或平面的特征点),添加到增量构建的点云地图中;每个点附带着图像块,在VIO中通过最小化这些图像块的光度误差来对齐一个新图像。
在VIO中提出一种新的外点剔除方法,可以剔除图像边缘和遮挡的点(当将LIDAR测量投影到图像平面时)
INTRODUCTION
R2LIVE和LVI-SAM:仅对状态向量进行了融合,而没有考虑测量层面的耦合,因此计算量较大
a fast and tightly-coupled sparse-direct LiDAR-inertial-visual odometry system (FAST-LIVO)
结合稀疏直接图像对齐与直接原始点配准的优势,以较低的计算代价实现准确可靠的位姿估计。
贡献点
1. 使用VIO和LIO联合估计状态点
2. VIO系统中最大程度的重用LIO中的点云地图,可以避免特征提取、三角化、视觉特征优化(滑窗优化、深度过滤)
数据集:NTU VIRAL
RELATED WORK
A.直接法
在图像中不提取特征点,在激光扫描中不提取平面和边缘点
由于缺乏鲁棒的特征匹配,直接法高度依赖良好的初始化
稠密直接法:大多用于RGB-D相机,每一个图像帧包括一个深度图
稀疏直接法:只使用一些经过良好选择的原始补丁
本文工作:在LIO(FAST-LIO2)和VIO系统(Svo: Fast semi-direct monocular visual odometry,2014,类似于DVL-SLAM,但是它没有融合imu的测量和激光扫描配准)均使用直接法
B.LVI SLAM
LIMO:2018,从激光测量中提取深度信息用于图像特征,并基于BA估计帧间运动
R2LIVE???:2021,对VIO子系统,采用滑动窗口优化
LVI-SAM:2021,类似于R2LIVE
FAST-LIVO中的VIO模块与DVL-SLAM相似,将激光点投影到一个新的图像上,并通过最小化光度误差来追踪图像。但是,DVL-SLAM只进行了帧到帧的配准,没有加入IMU测量和激光扫描。本方法紧耦合了帧到地图的图像配准、雷达扫描注册,和imu测量(混合卡尔曼滤波)
SYSTEM OVERVIEW
1. LIO子系统首先通过反向传播补偿运动畸变,然后计算帧到地图、点到平面残差(通过最小化点到平面的残差来优化帧到地图的相对位姿??
2. VIO子系统从视觉全局地图提取当前视野内的点对应的子地图,并剔除子地图中的外点
3. 稀疏直接视觉对齐去计算帧到地图的光度误差
4. 通过ESIKF(误差状态迭代卡尔曼滤波)将雷达点到平面残差和图像光度误差被紧耦合进IMU传播中
5. 融合后得到的位姿被用于添加新的点到全局地图
STATE ESTIMATE
D. Frame-to map Measurement Model
(1) LiDAR Measurement Model
在时刻tk接收到雷达扫描
1. 反向传播补偿运动畸变:得到的点均被视为在tk时刻扫描的,将其表达在同一个雷达帧中。
2. 将这些点注册到地图中时,我们假设每个点都落在地图的一个相邻平面上(从ikdTree构造的全局地图中取最近的五个点组成一个平面,该点应落在这个平面上,如(4)),平面的中心为q,法向量为u。
(2) Sparse-Direct Visual Alignment Measurement Model
-
稀疏直接帧到地图对齐:
- 与一些方法中帧与帧之间的图像对齐不同,这里采用的是帧与地图之间的稀疏直接图像对齐。也就是说,不是逐帧地对齐图像,而是将当前帧与预先构建的地图进行对齐。
- 对齐过程通过逐步细化、从粗到精地最小化光度误差来实现。
-
操作流程:
- 当在时间 tk 收到一幅图像时,从全局视觉地图中提取落在图像视野(FoV)内的地图点 {Gpi} 。
- 每个地图点 Gpi在之前的不同图像中都被观察到,并且每个地图点都附有在不同图像中的图像块。
-
参考路径的选择:
- 对于每个地图点 Gpi,选择观察角度与当前图像最接近的图像中的图像块作为参考路径,记为 Qi。
- 然后,将地图点 Gpi 根据当前帧的真值状态(即位姿)xk 变换到当前图像 Ik(⋅)上。
-
光度误差最小化:
- 在理想情况下,参考路径 Qi与当前图像中对应的图像块之间的光度误差应该为零。这意味着,通过最小化这一误差,可以实现图像与地图之间的精确对齐。
此步优化在三个水平上由粗到细进行