自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Manii

视觉SLAM与VIO总结

原创 视觉SLAM学习笔记——目录与参考

对SLAM学习内容进行总结和整理,对视觉SLAM十四讲进行整理、解释和补充。

2019-07-02 15:13:38

阅读数 597

评论数 3

原创 VINS-Mono论文学习与代码解读——目录与参考

港科大的VINS-Mono作为目前state of the art的开源VIO项目,是研究视觉与IMU融合的必读算法。本人将在学习之余逐步整理自己对算法的论文和实现的相关解读,欢迎大家一起讨论。

2019-01-04 19:54:12

阅读数 8197

评论数 10

翻译 【VINS论文翻译】VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator

写在前面 港科大的VINS-Mono作为目前state of the art的开源VIO项目,是研究视觉与IMU紧耦合的必读算法,网上的论文解读与代码实现也非常丰富(感谢!)。为更好地进行学习,本人在几篇VINS论文解读与翻译的参考与改进下,完成了自己对全文的阅读与翻译,以后将逐步更新自己对算法的...

2019-01-03 16:24:02

阅读数 13444

评论数 2

原创 视觉SLAM中的数学——解方程AX=b与矩阵分解:奇异值分解(SVD分解) 特征值分解 QR分解 三角分解 LLT分解

本博客主要介绍在SLAM问题中常常出现的一些线性代数相关的知识,重点是如何采用矩阵分解的方法,求解线性方程组AX=B。主要参考了《计算机视觉——算法与应用》附录A以及Eigen库的方法。本博客可能不会对分解讲的特别深入,主要是想弄清楚各个分解的条件、分解结果以及应用(或特点)。并在最后探讨一下线性...

2019-07-19 16:10:23

阅读数 340

评论数 0

原创 VINS-Mono理论学习——后端非线性优化

本文主要介绍VINS状态估计器模块(estimator)在完成了系统初始化后,对视觉与IMU信息进行基于滑动窗口的紧耦合过程中用到的非线性优化理论。这部分对应论文第六章(VI. TIGHTLY-COUPLED MONOCULAR VIO),并参考了崔博的《VINS论文推导与代码解析》、深蓝学院的V...

2019-06-27 15:04:33

阅读数 1537

评论数 3

原创 视觉SLAM——边缘检测 线段检测 Harris角点检测

本博客为主要学习《计算机视觉——算法与应用》第4章 特征检测与匹配相关知识点的总结与整理。主要内容包括:1、边缘检测算法,常用边缘检测算子 2、直线检测,Hough变换 3、Harris角点检测

2019-06-17 17:28:52

阅读数 297

评论数 0

原创 视觉SLAM——针孔相机模型 相机标定原理 双目相机模型 深度相机对比

前言 本博客为主要学习《视觉SLAM十四讲》第5讲、《机器人学的状态估计》第6章6.4.1透视相机、《多视图几何》第5章摄像头模型等SLAM内容的总结与整理。 主要包括: 1、针孔相机模型、相机畸变、相机标定 2、双目相机模型、RGBD相机原理 2、双目相机与RGBD相机对比 1、单目相机模型 1...

2019-05-31 15:30:51

阅读数 282

评论数 0

原创 apriltags2_ros应用实践——如何用apriltags二维码输出相机位姿与轨迹

之前我们已经成功实现了在Realsense D435i的相机下,跑通apriltags2_ros,并发布一个可在RVIZ可视化的odometry topic,输出相机的位姿。接下来我们主要讨论如何利用这个位姿,将其转换到与VINS对齐的机器人坐标系下,并能够输出一个轨迹topic。

2019-05-23 19:19:12

阅读数 1275

评论数 4

原创 视觉SLAM——二维三维几何、三维空间刚体变换

主要包括: 1、点、向量、坐标系、直线、平面等几何学基础 2、旋转矩阵、角轴、欧拉角、四元数等表示坐标系旋转的方法,罗德里格斯公式的证明,四元数左乘右乘、导数的推导 3、2D、3D空间的欧式、相似、仿射、射影变换性质

2019-05-10 21:47:39

阅读数 690

评论数 0

原创 VINS-Mono理论学习——IMU预积分 Pre-integration (Jacobian 协方差)

VINS论文的IV-B. IMU Pre-integration介绍了IMU预积分模型。传统传统捷联惯性导航的递推算法,是在已知上一时刻的IMU状态量(姿态和速度、位移)情况下,利用IMU测量得到的线加速度和角速度,做积分运算得到当前时刻的状态量。然而在基于非线性优化的VIO中,各个节点的状态量都...

2019-05-06 16:22:02

阅读数 3381

评论数 11

原创 apriltags2_ros应用实践——如何在realsense d435i上使用apriltags二维码实现定位

最近课题中采用VINS-Mono来做视觉惯性融合定位(VIO),因为所要求的环境条件无法进行闭环,为消除累计误差,打算以每多少米放置一个二维码的方式来辅助SLAM定位。为此选择了apriltags。 至于为什么在那么多种二维码中选择apriltags(其他常用的二维码还有QR、ARtag等),ap...

2019-04-28 19:14:07

阅读数 1916

评论数 42

原创 【VIO论文笔记】A Benchmark Comparison of Monocular Visual-Inertial Odometry Algorithms for Flying Robots

前言 本论文由ETH实验室在ICRA 2018上发表,其对目前公开的单目VIO算法(MSCKF、OKVIS、ROVIO、VINS-Mono、SVO+MSF、SVO+GTSAM),在飞行机器人常用的各种硬件(Laptop、Intel NUC、UP Board和ODROID)上进行测试比较,其评价内...

2019-04-22 15:58:10

阅读数 481

评论数 1

原创 VINS-Mono理论学习——视觉惯性联合初始化与外参标定

前言 本文主要介绍VINS状态估计器模块(estimator)中的视觉惯性联合初始化以及相机到IMU的外参估计,其中前半部分对应论文第五章(V. ESTIMATOR INITIALIZATION B. Visual-Inertial Alignment),后半部分参考了沈老师组的其他几篇论文。 视...

2019-04-11 18:25:14

阅读数 2137

评论数 8

原创 VINS-Mono代码解读——视觉惯性联合初始化 initialStructure sfm

本文主要介绍VINS状态估计器模块(estimator)中的初始化过程。由于单目紧耦合的VIO是一个高度非线性系统,单目视觉没有尺度信息,IMU的测量又存在偏置误差,如果没有良好的初始值很难将这两种测量结果有机融合,因而初始化是VIO最脆弱的步骤。 VINS采用了视觉和IMU的松耦合初始化方案,首...

2019-04-02 22:46:10

阅读数 2334

评论数 7

原创 视觉SLAM——OpenCV之Mat结构详解 数据成员和构造函数 创建Mat方法 遍历Mat方法

OpenCV2加入了一个c++接口,使用Mat类数据结构,可以实现自动内存管理,且扩展性大大提高。Mat是一个类,由两个数据部分组成:矩阵头(包含矩阵尺寸、存储方法、存储地址等)和一个指向存储所有像素值矩阵的指针。Mat类最重要的一点是浅拷贝和深拷贝问题。

2019-03-25 22:20:35

阅读数 376

评论数 0

原创 【VINS论文笔记】Online Temporal Calibration for Monocular Visual-Inertial Systems 单目视觉惯性系统在线时间标定

港科大VINS-Mono目前已集成了IMU和cam的在线时间偏差标定。本人就其相关论文进行了阅读,并进行内容整理。 原文:Online Temporal Calibration for Monocular Visual-Inertial Systems 单目视觉惯性系统的在线时间标定

2019-03-21 17:08:08

阅读数 660

评论数 1

原创 视觉SLAM中的数学——外点处理:鲁棒核函数 RANSAC方法

前言 本博客主要为学习《视觉SLAM十四讲》、《计算机视觉-算法与应用》第6章基于特征的配准 《机器人学中的状态估计》第5章偏差、匹配和外点 等其他相关SLAM内容的总结与整理。 外点 传感器测量值可能会受多种因素干扰而不可靠,同时特征匹配也会存在误匹配的情况,如果不正确地检测并剔除他们,视觉SL...

2019-03-15 09:41:22

阅读数 834

评论数 1

原创 视觉SLAM——两视图对极几何 本质矩阵 基础矩阵 单应矩阵 三角测量

本博客主要为学习《视觉SLAM十四讲》第7讲第3、4节、《多视图几何》第二篇双视图几何、《计算机视觉-算法与应用》第7章等其他相关SLAM内容的总结与整理。本博客主要讨论一下内容: 1、对极几何的构建,F、E矩阵的推导、性质与求解; 2、由E恢复Rt,三角测量; 3、单应性,单应矩阵H的求解; 4...

2019-03-05 16:55:59

阅读数 515

评论数 0

原创 VINS-Mono代码解读——回环检测与重定位 pose graph loop closing

前言 本文主要介绍VINS的重定位模块(relocalization),主要在代码中/pose_graph节点的相关部分实现。 从论文的内容上来说,主要包括了VINS中的回环检测、特征匹配与检验、重定位等内容,即论文第七章(VII. RELOCALIZATION)。先简要介绍下论文中的内容: A....

2019-03-01 22:59:44

阅读数 3674

评论数 4

原创 视觉SLAM——概述 算法框架 SLAM与SFM的区别

SLAM是Simultaneous Location and Mapping,同时定位与地图构建。是指搭载特定传感器的主体,在没有环境先验信息的情况下,于运动过程中建立环境的模型,同时估计自己的运动。目的是解决自主机器人“定位”和“建图”两个问题。同时要求能够实时地,没有先验知识地进行。SLAM问...

2019-02-27 20:02:56

阅读数 520

评论数 0

原创 【ORB-SLAM论文笔记】ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras

ORB-SLAM于2015年提出,其具有基于特征点的视觉里程计、基于非线性优化的后端、基于词袋的回环检测功能,采用的三线程的SLAM框架非常经典,并在其改进版ORB-SLAM2中同时支持单目、双目、RGBD,具有良好的泛用性。因此成为SLAM初学者必学的方案之一。本文将对ORB-SLAM2的论文进...

2019-02-26 21:52:21

阅读数 474

评论数 0

原创 【ORB-SLAM论文笔记】ORB-SLAM: a Versatile and Accurate Monocular SLAM System(ORB-SLAM:精确多功能单目SLAM系统)

ORB-SLAM于2015年提出,其具有基于特征点的视觉里程计、基于非线性优化的后端、基于词袋的回环检测功能,采用的三线程的SLAM框架非常经典,同时支持单目、双目、RGBD,具有良好的泛用性。因此成为SLAM初学者必学的方案之一。本文将对论文《ORB-SLAM: a Versatile and ...

2019-02-25 22:42:52

阅读数 426

评论数 0

原创 【VINS论文笔记】A General Optimization-based Framework for Local Odometry Estimation with Multiple Sensors

2019年1月11日,港科大VINS-Mono的团队发布了VINS的扩展版本——VINS-Fusion。其支持多种视觉惯性传感器类型(单相机+ IMU,立体相机+ IMU,立体相机),还支持将VINS与GPS进行融合。本人就VINS-Fusion中多传感器局部位姿估计的相关论文进行了阅读,并进行内...

2019-02-21 17:02:54

阅读数 701

评论数 0

原创 【VINS论文笔记】A General Optimization-based Framework for Global Pose Estimation with Multiple Sensors

2019年1月11日,港科大VINS-Mono的团队发布了VINS的扩展版本——VINS-Fusion。其支持多种视觉惯性传感器类型(单相机+ IMU,立体相机+ IMU,立体相机),还支持将VINS与GPS进行融合。本人就VINS-Fusion中多传感器全局位姿图优化的相关论文《A Genera...

2019-01-24 22:37:05

阅读数 618

评论数 1

原创 VINS-Mono代码解读——启动文件launch与参数配置文件yaml介绍

以euroc.launch和euroc_config.yaml为例对VINS中的启动文件launch和参数配置文件yaml进行详细介绍,并讨论自己在实验中调参的感受。欢迎大家一起讨论。

2019-01-24 14:33:34

阅读数 2312

评论数 8

原创 如何用Realsense D435i运行VINS-Mono等VIO算法 获取IMU同步数据

前言 Intel Realsense D435i在D435的基础上硬件融合了IMU,然而目前网上关于这款摄像头的资料非常少,本文主要介绍自己拿着d435i历经曲折最后成功运行VINS-Mono的过程。。。 准备工作 1、Intel Realsense D435i、Ubuntu 16.04 ...

2019-01-19 18:00:18

阅读数 6571

评论数 72

原创 Realsense D435i 在ubuntu上安装SDK与ROS Wrapper 运行ORB-SLAM2、RTAB和VINS-Mono

前言:D435i在D435的基础上,另外搭载了博世的惯性测量单元(IMU),可以作为研究VIO及其他SLAM算法的良好传感器组。本文将介绍自己一步步搭建d435i环境,并成功跑通ORB-SLAM2、RTAB和VINS-Mono的过程,供大家参考。 安装环境 系统:ubuntu 16.04 ROS:...

2019-01-18 21:14:12

阅读数 6907

评论数 27

原创 视觉SLAM——特征点法与直接法对比以及主流开源方案对比 ORB LSD SVO DSO

单目视觉SLAM可以根据其前端视觉里程计或是后端优化的具体实现算法进行分类:前端可以分为特征点法与直接法,后端可以分为基于滤波器和基于非线性优化。其中在后端上目前已经公认基于非线性优化的方法在同等计算量的情况下,比滤波器能取得更好的结果。而前端的两种方法则各有优劣。 本文将具体分析直接法相较于特征...

2019-01-14 22:46:59

阅读数 4383

评论数 1

原创 VINS-Mono代码解读——状态估计器流程 estimator 写在初始化和非线性优化前

前言 本文主要介绍VINS的状态估计器模块(estimator),或者从ROS角度说是estimator节点。 这个模块可以说是VINS的最核心模块,从论文的内容上来说,里面的内容包括了VINS的估计器初始化、基于滑动窗口的非线性优化实现紧耦合,即论文第五章(V. ESTIMATOR INITIA...

2019-01-13 15:09:41

阅读数 2795

评论数 5

原创 TUM VIO数据集介绍与尝试 The TUM VI Benchmark for Evaluating Visual-Inertial Odometry论文翻译

前言 做SLAM或是CV方向的应该大都接触过TUM提供的各种数据集,如RGBD数据集、单目数据集等。最近TUM发布了关于VIO即视觉惯性状态估计的对应数据集,成为了继飞行数据集EuRoc、MAV、车辆数据集Kitti等之后的又一个常用大型数据集。 本博客将就其数据集的论文《The TUM VI...

2019-01-10 10:19:35

阅读数 1653

评论数 10

原创 VINS-Mono代码解读——各种数据结构 sensor_msgs

前言 在看VINS-Mono的代码时,觉得非常有必要整理总结一下其中不同的数据结构,尤其是各种sensor_msgs的格式与具体含义。慢慢补充吧! sensor_msgs::ImageConstPtr from file:sensor_msgs/Image.msg 在feature_tracke...

2019-01-07 22:09:01

阅读数 2101

评论数 0

原创 VINS-Mono代码解读——视觉跟踪 feature_trackers

前言 本文主要介绍VIO的视觉处理前端的视觉跟踪模块(feature_trackers)。论文第四章A节(IV. MEASUREMENT PREPROCESSING——A. Vision Processing Front-end)可以看到其算法主要包括以下内容: 1、对于每一幅新图像,KLT稀疏光...

2019-01-05 10:58:04

阅读数 3653

评论数 10

提示
确定要删除当前文章?
取消 删除