Manii

本博客主要介绍在SLAM问题中常常出现的一些线性代数相关的知识，重点是如何采用矩阵分解的方法，求解线性方程组AX=B。主要参考了《计算机视觉——算法与应用》附录A以及Eigen库的方法。本博客可能不会对分解讲的特别深入，主要是想弄清楚各个分解的条件、分解结果以及应用（或特点）。并在最后探讨一下线性最小二乘问题。包括：1、三角分解（LU分解）2、QR分解3、特征值分解4、奇异值分解（SVD分解）5、LDLT分解6、LLT分解（Cholesky分解）

对SLAM学习内容进行总结和整理，对视觉SLAM十四讲进行整理、解释和补充。

本文主要介绍VINS状态估计器模块（estimator）在完成了系统初始化后，对视觉与IMU信息进行基于滑动窗口的紧耦合过程中用到的非线性优化理论。这部分对应论文第六章（VI. TIGHTLY-COUPLED MONOCULAR VIO），并参考了崔博的《VINS论文推导与代码解析》、深蓝学院的VIO课程内容。主要想对目标函数中视觉残差和IMU残差，以及对应的雅可比、协方差进行推导。

本博客为主要学习《计算机视觉——算法与应用》第4章 特征检测与匹配相关知识点的总结与整理。主要内容包括：1、边缘检测算法，常用边缘检测算子 2、直线检测，Hough变换 3、Harris角点检测

前言本博客为主要学习《视觉SLAM十四讲》第5讲、《机器人学的状态估计》第6章6.4.1透视相机、《多视图几何》第5章摄像头模型等SLAM内容的总结与整理。主要包括：1、针孔相机模型、相机畸变、相机标定2、双目相机模型、RGBD相机原理2、双目相机与RGBD相机对比1、单目相机模型1.1 针孔相机模型1.2 相机畸变1.3 相机标定（张正友标定）1.4 鱼眼相机模型2、立体相...

之前我们已经成功实现了在Realsense D435i的相机下，跑通apriltags2_ros，并发布一个可在RVIZ可视化的odometry topic，输出相机的位姿。接下来我们主要讨论如何利用这个位姿，将其转换到与VINS对齐的机器人坐标系下，并能够输出一个轨迹topic。

主要包括： 1、点、向量、坐标系、直线、平面等几何学基础 2、旋转矩阵、角轴、欧拉角、四元数等表示坐标系旋转的方法，罗德里格斯公式的证明，四元数左乘右乘、导数的推导3、2D、3D空间的欧式、相似、仿射、射影变换性质

VINS论文的IV-B. IMU Pre-integration介绍了IMU预积分模型。传统传统捷联惯性导航的递推算法，是在已知上一时刻的IMU状态量（姿态和速度、位移）情况下，利用IMU测量得到的线加速度和角速度，做积分运算得到当前时刻的状态量。然而在基于非线性优化的VIO中，各个节点的状态量都是估计值。当这些状态量在优化算法中，会不断调整，每次调整都需要在它们之间重新积分，传递IMU测量值。因此提出IMU预积分，希望对IMU的相对测量进行处理，使它与绝对位姿解耦，或者只要线性运算就可以进行矫正。

最近课题中采用VINS-Mono来做视觉惯性融合定位（VIO），因为所要求的环境条件无法进行闭环，为消除累计误差，打算以每多少米放置一个二维码的方式来辅助SLAM定位。为此选择了apriltags。至于为什么在那么多种二维码中选择apriltags（其他常用的二维码还有QR、ARtag等），apriltags是如何进行二维码识别与定位的，以及如何将apriltags得到的位姿融合到VIO中...

前言本论文由ETH实验室在ICRA 2018上发表，其对目前公开的单目VIO算法（MSCKF、OKVIS、ROVIO、VINS-Mono、SVO+MSF、SVO+GTSAM），在飞行机器人常用的各种硬件（Laptop、Intel NUC、UP Board和ODROID）上进行测试比较，其评价内容包括位姿估计精度、单针处理时间、CPU和内存占用率，评价的数据集为EuRoC。该论文之前的部分可以参...

前言本文主要介绍VINS状态估计器模块（estimator）中的视觉惯性联合初始化以及相机到IMU的外参估计，其中前半部分对应论文第五章（V. ESTIMATOR INITIALIZATION B. Visual-Inertial Alignment），后半部分参考了沈老师组的其他几篇论文。视觉惯性联合初始化对于VINS初始化中视觉惯性对齐之外的部分已在博客VINS-Mono代码解读——视觉...

本文主要介绍VINS状态估计器模块（estimator）中的初始化过程。由于单目紧耦合的VIO是一个高度非线性系统，单目视觉没有尺度信息，IMU的测量又存在偏置误差，如果没有良好的初始值很难将这两种测量结果有机融合，因而初始化是VIO最脆弱的步骤。VINS采用了视觉和IMU的松耦合初始化方案，首先用从运动恢复结构（SFM）得到纯视觉系统的初始化，即滑动窗口中所有帧的位姿和所有路标点的3d位置，然后将其与IMU预积分结果进行对齐，恢复尺度因子、重力、陀螺仪偏置和每一帧的速度。

OpenCV2加入了一个c++接口，使用Mat类数据结构，可以实现自动内存管理，且扩展性大大提高。Mat是一个类，由两个数据部分组成：矩阵头（包含矩阵尺寸、存储方法、存储地址等）和一个指向存储所有像素值矩阵的指针。Mat类最重要的一点是浅拷贝和深拷贝问题。

港科大VINS-Mono目前已集成了IMU和cam的在线时间偏差标定。本人就其相关论文进行了阅读，并进行内容整理。原文：Online Temporal Calibration for Monocular Visual-Inertial Systems单目视觉惯性系统的在线时间标定

前言本博客主要为学习《视觉SLAM十四讲》、《计算机视觉-算法与应用》第6章基于特征的配准 《机器人学中的状态估计》第5章偏差、匹配和外点 等其他相关SLAM内容的总结与整理。外点传感器测量值可能会受多种因素干扰而不可靠，同时特征匹配也会存在误匹配的情况，如果不正确地检测并剔除他们，视觉SLAM中的很多算法（如计算本质矩阵、三角测量、PNP等）将会失败。我们将非常不可能的测量值（根据测量模...

本博客主要为学习《视觉SLAM十四讲》第7讲第3、4节、《多视图几何》第二篇双视图几何、《计算机视觉-算法与应用》第7章等其他相关SLAM内容的总结与整理。本博客主要讨论一下内容：1、对极几何的构建，F、E矩阵的推导、性质与求解；2、由E恢复Rt，三角测量；3、单应性，单应矩阵H的求解；4、F、E、H矩阵的适用性讨论。在特征匹配后，得到了特征点之间的关系，如果是两张图像匹配，可通过对极几何得到2D-2D之间的关系。

前言本文主要介绍VINS的重定位模块（relocalization），主要在代码中/pose_graph节点的相关部分实现。从论文的内容上来说，主要包括了VINS中的回环检测、特征匹配与检验、重定位等内容，即论文第七章（VII. RELOCALIZATION）。先简要介绍下论文中的内容：A. 回环检测1、利用DBoW2进行回环检测。2、除了用于单目VIO的角点特征外，还添加了500个角点...

SLAM是Simultaneous Location and Mapping，同时定位与地图构建。是指搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动。目的是解决自主机器人“定位”和“建图”两个问题。同时要求能够实时地，没有先验知识地进行。SLAM问题的本质是对主体自身（位姿）和周围环境空间（点云）的不确定性的估计。

ORB-SLAM于2015年提出，其具有基于特征点的视觉里程计、基于非线性优化的后端、基于词袋的回环检测功能，采用的三线程的SLAM框架非常经典，并在其改进版ORB-SLAM2中同时支持单目、双目、RGBD，具有良好的泛用性。因此成为SLAM初学者必学的方案之一。本文将对ORB-SLAM2的论文进行学习并整理相关重点。