MSCKF_vio学习笔记

最新推荐文章于 2024-08-10 07:48:05 发布

被酱油打

最新推荐文章于 2024-08-10 07:48:05 发布

阅读量9.2k

点赞数 8

本文链接：https://blog.csdn.net/u014491623/article/details/84712862

版权

本文详细介绍了MSCKF_vio的原理和代码实现，包括视觉前端的特征点跟踪，如LK光流、双目匹配和two-point RANSAC算法。MSCKF_vio利用多状态约束和IMU数据进行双目视觉里程计，具有鲁棒性和低计算复杂度，但缺乏全局优化。关键函数如`trackFeatures()`、`integrateImuData()`和`twoPointRANSAC()`在特征点追踪和去除outliers中起重要作用。

摘要由CSDN通过智能技术生成

最近因为项目需求，对MSCKF_vio的论文和代码进行了一番研读，现将学习过程记下。
MSCKF_vio是一种基于多状态约束卡尔曼滤波器的双目视觉里程计。其中多状态约束是指将多帧图像的相机位姿加入卡尔曼状态向量中，在进行卡尔曼增益之前通过多帧图像之间的约束进行最小二乘优化来估计特征点的空间位置，然后根据优化后的特征点空间位置来约束状态向量。其中，多帧图像保存在一个按时间排序的滑动窗口序列中，跟踪多个特征点在多帧图像中的坐标，从而建立各帧图像位姿之间的约束。另一个约束是：同一时刻的相机位姿与IMU位姿之间是一个已知的约束，这个约束用在状态增广中。在这两种约束下，卡尔曼滤波能够获得一个较好的估计。该方法的优点在于鲁棒性高，计算复杂度低，而缺点是由于其后端是卡尔曼滤波，无法用到全局的信息进行全局的优化，没有回环检测。

代码中主要有三个文件比较重要：src/msckf_vio.cpp, src/image_processor.cpp ,include/msckf_vio/feature.hpp。其中src/msckf_vio.cpp是系统的主体，滤波器的所有步骤都在此文件中进行，包括状态预测，状态增广，测量更新等，是后端优化部分。src/image_processor.cpp是视觉前端，主要作用是跟踪特征点，去除outliers，其中用了三种方法去跟踪特征点：LK光流跟踪，双目匹配，two-point RANSAC。include/msckf_vio/feature.hpp主要是通过多帧图像之间的约束进行最小二乘优化计算各个特征点的空间位置，这个空间位置在msckf测量更新的时候要用到(计算测量雅可比矩阵H，计算残差)。

现在，先从前端部分开始，主要讲src/image_proce