视觉SLAM
文章平均质量分 90
Leo-Peng
Stay Hungry, Stay Foolish
展开
-
视觉SLAM总结——SuperPoint / SuperGlue
视觉SLAM总结——super pixel/super clue/super map原创 2022-05-29 10:58:39 · 24147 阅读 · 8 评论 -
SLAM算法总结——经典SLAM算法框架总结
SLAM算法总结——经典SLAM算法框架总结SLAM算法总结——经典SLAM算法框架总结SLAM算法总结——经典SLAM算法框架总结从研究生接触SLAM算法到现在也有原创 2021-10-17 10:32:26 · 50010 阅读 · 8 评论 -
激光SLAM总结——LIO-Mapping / LIOM / LINS / LIO-SAM算法解析
激光IMU融合——LINS / LIO-mapping / LIO-sam算法解析激光IMU融合——LINS / LIO-mapping / LIO-sam算法解析激光IMU融合——LINS / LIO-mapping / LIO-sam算法解析在激光SLAM领域,LOAM、Lego-LOAM属于纯激光领域,除此之外还衍生处理视觉激光结合、激光IMU结合,甚至三者结合的算法,视觉激光结合的算法在我之前写的博文视觉激光融合——VLOAM / LIMO算法解析中有简单总结,本文所介绍的LINS / LIO-原创 2021-10-08 08:12:06 · 11085 阅读 · 2 评论 -
GTSAM Tutorial学习笔记
GTSAM Tutorial学习笔记GTSAM Tutorial学习笔记GTSAM Tutorial学习笔记本博客主要原创 2021-10-07 23:48:44 · 2539 阅读 · 0 评论 -
激光SLAM总结——VLOAM / LIMO算法解析
学习LOAM笔记——VLOAM算法解析学习LOAM笔记——VLOAM算法解析1. 总体框架学习LOAM笔记——VLOAM算法解析为什么要研究下VLOAM算法呢?因为效果好呀,VLOAM算法是在2015年ICRA上提出的,但是至今仍然在KITTI的odometry数据集上排名靠前,那么VLOAM一定有其过人之处VLOAM原论文名为《Visual-lidar Odometry and Mapping: Low-drift, Robust, and Fast》,作者并没有对代码进行开源,幸运的是,在去年C原创 2021-09-24 20:42:16 · 10591 阅读 · 3 评论 -
Ceres Solver Document学习笔记
Ceres Solver学习笔记Ceres Solver学习笔记1. 基本概念Ceres Solver学习笔记之前在学习Vins-Mono时,在Vins-Mono后端就是使用Ceres实现的滑窗优化,当时对Ceres的了解也仅仅是在简单使用的层面上,最近项目中有再次用到Ceres相关的内容,因此我把Ceres Solver的Document扫了一遍,这篇博客是相关的笔记。我个人觉得Ceres比较重要的优势主要有如下几点:Ceres中提供了自动求导的功能,在优化算法推到的过程中,最麻烦的也就是求雅克比原创 2021-07-18 23:43:13 · 1032 阅读 · 1 评论 -
Eigen有哪些需要注意的操作
1. Eigen有哪些行操作,列操作,块操作,怎样写会更高效?行操作:matrix.row(n);matrix.topRows(n);matrix.bottomRows(n);列操作:matrix.col(n);matrix.leftCols(n);matirx.rightCols(n);块操作:动态矩阵版本:matrix.block(i,j,m,n); // 大小为(m,n),起始于(i,j)matrix.topLeftCorner(m,n);matrix.bottomLeftC原创 2021-02-15 11:26:01 · 1875 阅读 · 1 评论 -
学习MSCKF笔记——后端、状态预测、状态扩增、状态更新
学习MSCKF笔记——后端、状态扩增学习MSCKF笔记——后端、状态扩增学习MSCKF笔记——后端、状态扩增为了看懂后端代码,我先看了下《Quaternion kinematics for the error-state Kalman filter》这篇参考文献,写了两篇总结文档学习MSCKF笔记——四元数基础学习MSCKF笔记——误差状态卡尔曼滤波MSCKF的后端内容还是很多的,Stereo-MSCKF的代码也写得很好,通过读代码将MSCKF后端流程图总结如下:下面我将后端中几个关键的知识点原创 2020-09-05 00:09:54 · 3346 阅读 · 8 评论 -
学习MSCKF笔记——真实状态、标称状态、误差状态
学习MSCKF笔记——误差状态卡尔曼滤波学习MSCKF笔记——误差状态卡尔曼滤波1.学习MSCKF笔记——误差状态卡尔曼滤波1.原创 2020-08-02 23:11:04 · 4273 阅读 · 0 评论 -
学习MSCKF笔记——四元数基础
学习MSCKF笔记——四元数基础学习MSCKF笔记——四元数基础学习MSCKF笔记——四元数基础其实老早就想对四元数相关知识进行一个总结了,这次学习MSCKF时,阅读了参考文献《Quaternion Kinematics for the Error-state Kalman Filter》,这篇文献对四元数相关知识进行了一个总结,...原创 2020-07-26 21:27:19 · 1148 阅读 · 0 评论 -
学习MSCKF笔记——前端、图像金字塔光流、Two Point Ransac
学习MSCKF笔记——前端中的几个细节学习MSCKF笔记——前端中的几个细节1. 前端流程学习MSCKF笔记——前端中的几个细节前段时间开始工作了,刚开始有点忙得缓不过来,调整了两三个月后总算有时间了,可以继续学点自己感兴趣的东西,写写博客。之前研究过一段时间VINS-Mono,那是一个后端优化框架的VIO,而MSCKF是基于滤波的框架,对于嵌入式平台会更加友好,因此想花点时间再学习下。目前我仅仅看了一遍paper,过了一遍代码,以及学习了几位前辈优秀的博客:一步步深入了解S-MSCKFMSCKF那原创 2020-07-12 22:19:16 · 3116 阅读 · 3 评论 -
论文阅读——《Online Photometric Calibration of Auto Exposure Video for Realtime Visual Odometry and SLAM》
论文阅读——《Online Photometric Calibration of Auto Exposure Video for Realtime Visual Odometry and SLAM》《Online Photometric Calibration of Auto Exposure Video for Realtime Visual Odometry and SLAM》1. 成像过程建...原创 2020-02-28 21:03:15 · 1270 阅读 · 0 评论 -
论文阅读——《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》
论文阅读——Exposure Control using Bayesian Optimization based on Entropy Weighted Image GradientExposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient1. 曝光评价标准——熵权梯度2.1 首先什么是...原创 2020-02-27 10:33:27 · 1125 阅读 · 0 评论 -
深蓝学院《从零开始手写VIO》作业七
深蓝学院《从零开始手写VIO》作业七深蓝学院《从零开始手写VIO》作业七深蓝学院《从零开始手写VIO》作业七将第二讲中的仿真数据(视觉特征,imu数据)接入VINS系统,并运行出轨迹结果第一步:将IMU数据传入VINS系统这部分的代码实现在run_euroc.cpp中的PubSimImuData部分,如下:void PubSimImuData(){ string sImu_dat...原创 2020-01-08 14:02:59 · 2852 阅读 · 3 评论 -
深蓝学院《从零开始手写VIO》作业六
深蓝学院《从零开始手写VIO》作业五深蓝学院《从零开始手写VIO》作业五1. 证明题2. 代码题深蓝学院《从零开始手写VIO》作业五1. 证明题证明Dy=0Dy=0Dy=0的最优解yyy等于DTDD^TDDTD的最小奇异值对应的奇异值向量矩阵DTDD^TDDTD的奇异值分解如下:D⊤D=∑i=14σi2uiuj⊤\mathbf{D}^{\top} \mathbf{D}=\sum_{...原创 2020-01-08 14:02:44 · 1403 阅读 · 4 评论 -
深蓝学院《从零开始手写VIO》作业五
深蓝学院《从零开始手写VIO》作业五1. 完成Bundle Adjustment求解器2. 完成测试函数1. 完成Bundle Adjustment求解器完成单目 Bundle Adjustment 求解器 problem.cc 中的部分代码。• 完成 Problem::MakeHessian() 中信息矩阵 H 的计算。• 完成 Problem::SolveLinearSystem()...原创 2020-01-08 14:02:24 · 1377 阅读 · 3 评论 -
深蓝学院《从零开始手写VIO》作业四
深蓝学院《从零开始手写VIO》作业四深蓝学院《从零开始手写VIO》作业四1. 信息矩阵分析2. Bundle Adjustment信息矩阵的计算深蓝学院《从零开始手写VIO》作业四1. 信息矩阵分析某时刻,SLAM系统中相机和路标点的观测关系如下图所示:(1) 请绘制上述系统的信息矩阵Λ\LambdaΛ(2) 请绘制相机ξ1\xi_1ξ1marg以后的信息矩阵Λ′\Lambda&a...原创 2020-01-08 14:02:13 · 1012 阅读 · 6 评论 -
VINS-Mono关键知识点总结——边缘化marginalization理论和代码详解
VINS-Mono关键知识点总结——边缘化marginalization理论和代码详解VINS-Mono关键知识点总结——边缘化marginalization理论和代码详解1. 边缘化理论为什么要进行边缘化操作?怎样进行边缘化呢?在实际的边缘化操作中有什么需要注意的吗?2. 代码剖析VINS-Mono关键知识点总结——边缘化marginalization理论和代码详解个人觉得整个VINS最难理...原创 2019-07-14 10:09:06 · 14464 阅读 · 12 评论 -
VIO在走廊弱纹理环境下的优化——VINS-Mono的点线紧耦合优化
VIO在走廊弱纹理环境下的优化VIO在走廊弱纹理环境下的优化0. 前言1. 思路概述1.1 Super Pixel SLAM1.2 Edge SLAM1.3 PL SLAM2. 算法实施2.1 Edge SLAM方案的实施(简述)2.2 PL SLAM方案的实施2.2.1 线特征的提取和跟踪2.2.2 线特征的构建和管理2.2.3 线特征的非线性优化2.2.4 线特征的边缘化操作3. 实验结果...原创 2019-09-25 20:30:32 · 9705 阅读 · 37 评论 -
视觉SLAM总结——SVO中关键知识点总结
SVO中关键知识点总结SVO中关键知识点总结1. SVO的优缺点是什么?SVO中关键知识点总结SVO是我接触的第一个视觉SLAM框架(按照高博的说法,这个是VO,算不上SLAM),当时和几个小伙伴一起读了源码相互交流下,但是当时没有及时总结,又忘得差不多了,这段时间正在复习,就借此机会一起总结下,复习的时候参看了几位SLAM大佬的笔记,觉得数学这个东西挖深了搞明白了真的很有意思,搞得我甚至有点...原创 2019-06-07 10:08:33 · 4497 阅读 · 0 评论 -
多视图几何总结——从本质矩阵恢复摄像机矩阵
多视图几何总结——等距变换、相似变换、仿射变换和射影变换多视图几何总结——从本质矩阵恢复摄像机矩阵(1)本质矩阵性质(2)从本质矩阵恢复摄像机矩阵多视图几何总结——从本质矩阵恢复摄像机矩阵本质矩阵是归一化坐标下基本矩阵的特殊形式,具有五个自由度,我们通过八点法或者五点法可以求出本质矩阵,那么我们如何从中恢复出我们实际想要的RRR和ttt呢?我们得从性质入手。(1)本质矩阵性质多视图几何上定...原创 2019-05-20 21:32:37 · 1760 阅读 · 0 评论 -
深蓝学院《从零开始手写VIO》作业三
深蓝学院《从零开始手写VIO》作业三深蓝学院《从零开始手写VIO》作业三深蓝学院《从零开始手写VIO》作业三原创 2020-01-08 13:59:51 · 2203 阅读 · 1 评论 -
VINS-Mono关键知识点总结——预积分和后端优化IMU部分
VINS-Mono关键知识点总结——预积分和后端优化IMU部分VINS-Mono关键知识点总结——预积分和后端优化IMU部分1. 预积分的理论推导2. 预积分的代码分析3. 后端优化IMU部分(1)残差定义(2)优化变量(3)雅克比矩阵4. 总结VINS-Mono关键知识点总结——预积分和后端优化IMU部分像VINS-Mono这样优秀的框架网上优秀的总结实在太多,我写这篇博客仅仅是为了自己将知...原创 2019-06-23 16:56:14 · 4658 阅读 · 3 评论 -
VINS-Mono关键知识点总结——前端详解
VINS-Mono关键知识点总结——前端详解VINS-Mono关键知识点总结——前端详解1. VINS-Mono的前端流程概述2. setMask() 函数的作用3. rejectWithF() 函数的作用4. addPoints() 函数和 updataID() 函数的作用VINS-Mono关键知识点总结——前端详解VINS-Mono的前端看上去思路是比较简单的,但是如果仔细阅读源码的话还是...原创 2019-07-01 20:06:56 · 5349 阅读 · 8 评论 -
概率机器人总结——粒子滤波先实践再推导
概率机器人总结——粒子滤波从推导到实践概率机器人总结——粒子滤波先实践再推导推导之前,先来一波实践伪代码分析真代码解析推导过程1. 贝叶斯滤波2. 蒙特卡罗采样3. 重要性采样4. Sequential Importance Sampling (SIS) Filter5. 重采样6. Sampling Importance Resampling (SIR) Filter概率机器人总结——粒子滤波...原创 2019-05-18 18:09:37 · 2080 阅读 · 1 评论 -
概率机器人总结——(扩展)卡尔曼滤波先实践再推导
概率机器人总结——卡尔曼滤波先实践再推导概率机器人总结——(扩展)卡尔曼滤波先实践再推导卡尔曼、扩展卡尔曼、粒子滤波到底什么关系?扩展卡尔曼滤波的实践卡尔曼滤波的推导概率机器人总结——(扩展)卡尔曼滤波先实践再推导为什么要把扩展两个字加个括号呢,因为本文的实践过程是以扩展卡尔曼为例,但是推导过程主要是参考博客卡尔曼滤波 – 从推导到应用(一),相较于《概率机器人》上的推导过程更容易理解,而《概...原创 2019-05-22 21:01:31 · 2121 阅读 · 1 评论 -
概率机器人总结——占用栅格地图先实践再推导
概率机器人总结——占用栅格地图先实践再推导概率机器人总结——占用栅格地图构建先实践再推导实践过程伪代码分析真代码分析推导过程静态二值贝叶斯滤波概率机器人总结——占用栅格地图构建先实践再推导当我将概率机器人看到这里的时候,越发觉将数学理论转到实际应用是一件非常有意思的事情,像我的话很早之前就用过gmapping和amcl这些ros自带的功能包了,但是知其然不知其所以然,看起来很炫酷的操作却不明白...原创 2019-05-25 20:38:14 · 3750 阅读 · 0 评论 -
多视图几何总结——摄像机模型
多视图几何总结——摄像机模型多视图几何总结——摄像机模型有限摄像机矩阵——推导有限摄像机矩阵——计算(1)最小配置解(2)超定解(DLT)(3)几何误差仿射无限摄像机多视图几何总结——摄像机模型摄像机模型相对来说比较基础,针孔模型对于搞CV或者SLAM的人来说,是入门必须掌握的知识点,这里为了保证总结的完整性,同时也让自己再巩固下,抽了点时间进行一个简单的总结。多视图几何中对于相机模型的介绍...原创 2019-05-24 17:48:30 · 1602 阅读 · 0 评论 -
多视图几何总结——基础矩阵、本质矩阵和单应矩阵的求解过程
MVG总结——基础矩阵、本质矩阵和单应矩阵的求解过程MVG总结——基础矩阵、本质矩阵和单应矩阵的求解过程(1)说明——其实求解过程大同小异(2)基础矩阵求解过程(3)本质矩阵求解过程(4)单应矩阵求解过程MVG总结——基础矩阵、本质矩阵和单应矩阵的求解过程在《视觉SLAM十四讲》中,仅仅给出了基础矩阵、本质矩阵和单应矩阵的推导过程,并没有详细给出其求解过程,再看过《计算机视觉中的多视图几何》之...原创 2019-05-13 23:04:41 · 6846 阅读 · 1 评论 -
多视图几何总结——基础矩阵、本质矩阵和单应矩阵的自由度分析
MVG总结——基础矩阵、本质矩阵和单应矩阵的自由度分析MVG总结——基础矩阵、本质矩阵和单应矩阵的自由度分析总结基础矩阵自由度本质矩阵自由度单应矩阵自由度MVG总结——基础矩阵、本质矩阵和单应矩阵的自由度分析总结首先给出结论,基础矩阵(Fundmental Matrix)具有7个自由度,本质矩阵(Essential Matrix)具有5个自由度,单应矩阵(Homography Matrix)...原创 2019-05-05 22:21:19 · 11344 阅读 · 9 评论 -
从零开始使用Realsense D435i运行VINS-Mono
从零开始使用Realsense D435i运行VINS-Mono原创 2019-05-03 21:04:41 · 18225 阅读 · 59 评论 -
视觉SLAM总结——视觉特征子综述
特征子综述首先需要明确的一个概念是特征描述子是由关键点(keypoints)+特征描述子(feature)两部分构成,下面所介绍的算法中,一部分是同时介绍了关键点和特征描述子的算法,比如SIFT,另一部分是更加强调关键点或者特征描述子的提取算法,比如Harris。第一部分:2D特征子1. Harris性质算法的核心是利用局部窗口在图像上进行移动判断灰度发生较大的变化,其性质主要是(1)...原创 2019-04-28 23:18:29 · 4671 阅读 · 1 评论 -
多视图几何总结——等距变换、相似变换、仿射变换和射影变换
多视图几何总结——等距变换、相似变换、仿射变换和射影变换多视图几何总结——等距变换、相似变换、仿射变换和射影变换等距变换相似变化仿射变换射影变换多视图几何总结——等距变换、相似变换、仿射变换和射影变换多视图几何再2.4节中介绍好几种变换,有时候容易绕懵,这里花点时间简单总结下首先只管感受下这几种变换其中图a是相似变换,其效果是圆仍然是圆,正方形仍然是正方形;图b是仿射变换,其效果是圆变成...原创 2019-05-18 21:13:42 · 4759 阅读 · 4 评论 -
多视图几何总结——三角形法
多视图几何总结——三角形法多视图几何总结——三角形法线性三角形法(1)齐次方法(2)非齐次方法几何法(1)非线性优化法(2)最优解法多视图几何总结——三角形法在《视觉SLAM十四讲》中三角测量那一节中简单介绍了下如何通过两帧中匹配的点获得空间点深度,这对单目相机的成像是非常重要的,其证明如下,设x1x_1x1,x2x_2x2分别为两帧中匹配好的特征点的归一化坐标,然后满足:s1x1=s2R...原创 2019-05-30 20:29:57 · 3983 阅读 · 0 评论 -
深蓝学院《从零开始手写VIO》作业二
深蓝学院《从零开始手写VIO》作业二深蓝学院《从零开始手写VIO》作业二1. 设置IMU仿真中的不同的参数,生成allen方差标定曲线(1)噪声较小的情况(2)噪声中等的情况(3)噪声较大的情况(4) 实验结果分析2. 将IMU仿真代码中的欧拉积分替换成中值积分第一种情况:通过t-1和t时刻的值来计算中值第二种情况:通过t+1和t时刻的值来计算中值结论深蓝学院《从零开始手写VIO》作业二1....原创 2020-01-08 13:59:39 · 2907 阅读 · 7 评论 -
视觉SLAM总结——视觉SLAM面试题汇总
视觉SLAM面试题汇总视觉SLAM面试题汇总1. SIFT和SUFT的区别2. 相似变换、仿射变换、射影变换的区别3. Homography、Essential和Fundamental Matrix的区别4. 视差与深度的关系5. 描述PnP算法6. 闭环检测常用方法7. 给一个二值图,求最大连通域8. 梯度下降法、牛顿法、高斯-牛顿法的区别9. 推导一下卡尔曼滤波、描述下粒子滤波10. 如何求解...原创 2019-09-25 10:16:03 · 15935 阅读 · 10 评论 -
视觉SLAM总结——ORB SLAM2中关键知识点总结
ORB SLAM2中关键知识点总结ORB SLAM2中关键知识点总结1. ORB SLAM2的总体框架是怎样的?2. ORB SLAM2是怎样完成初始化的?3. ORB SLAM2是如何进行Tracking的?4. ORB SLAM2是如何选取关键帧的?5. ORB SLAM2中有那些(非线性/后端)优化相关的操作?ORB SLAM2中关键知识点总结去年基于ORB SLAM2做了一些工作,当时...原创 2019-06-04 21:25:49 · 12122 阅读 · 16 评论 -
视觉SLAM总结——LSD SLAM中关键知识点总结
视觉SLAM总结——LSD SLAM中关键知识点总结视觉SLAM总结——LSD SLAM中关键知识点总结1. LSD SLAM的创新点/关键点是什么?2. LSD SLAM的整体框架是怎样的?3. LSD SLAM是怎样完成初始化的?4. LSD SLAM中的跟踪算法有什么特别的地方?视觉SLAM总结——LSD SLAM中关键知识点总结这篇LSD SLAM的总结是为了保证我的知识框架的完整性写...原创 2019-06-09 19:37:31 · 6149 阅读 · 1 评论 -
深蓝学院《从零开始手写VIO》作业一
深蓝学院《从零开始手写VIO》作业一深蓝学院《从零开始手写VIO》作业一1. VIO文献阅读1.1 视觉与IMU进行融合之后有何优势?1.2 有哪些常见的视觉+IMU融合方案?有没有工业界应用的例子?1.3 在学术界,VIO研究有哪些新进展?有没有将学习方法用到VIO中的例子?2. 四元数和李代数更新3. 其他导数深蓝学院《从零开始手写VIO》作业一1. VIO文献阅读阅读VIO相关综述文献...原创 2020-01-08 13:58:53 · 1883 阅读 · 1 评论 -
多视图几何总结——单应矩阵和基础矩阵的兼容关系
多视图几何总结——单应矩阵和基础矩阵关系多视图几何总结——单应矩阵和基础矩阵关系(1)单应矩阵和基础矩阵的兼容性(2)基础矩阵 —> 单应矩阵(3)单应矩阵 —> 基础矩阵多视图几何总结——单应矩阵和基础矩阵关系这应该是多视图几何里面最后一篇总结了吧,在书中用一整章的篇幅介绍了平面单应(单应矩阵)和对极几何(基础矩阵)之间的关系,相对是比较复杂的,好几次绕晕我了…如下图图中xx...原创 2019-05-31 17:55:30 · 1107 阅读 · 0 评论