知行合一

前言  最近学习稠密重建的相关知识，发现变分法通常作为一个平滑的正则项出现在残差平方和的损失函数中。而图像处理中又经常出现这类最小损失函数的优化问题，如图像分割、稠密光流、稠密重建等等，这些优化问题中都有可能涉及到变分法。因此，我想系统记录下学习过程：变分法是什么？全变分正则项有何含义？加了变分正则项的损失函数如何求解？等等。本系列应该会有三章：第一章讲数学基础：泛函极值和变分法第二章讲变分法在图像去噪上的应用第三章讲变分法在稠密重建上的应用变分法基础  变分法求解的过程为：构建变分函数，利

前言最近和高博合作推出了一个关于 VIO 的课程，借此博客推荐下。这个课程的图优化后端是我们自己写的，仅依赖 Eigen, 实现后系统的精度和 ceres 以及 g2o 不相上下。 个人感觉这个课程还是能学到不少东西，特别是网上关于 SLAM 后端的资料比较少。下面是一些关于这个课程的介绍：这两年视觉 SLAM 相当火了，作为面试官常常感叹现在的小伙伴比我们那会厉害多了，简历中一般都会说熟悉...

前言SLAM 方向对 Gaussian Process （GP）的需求不大，但这两年有好几篇 IROS，ICRA 的论文用高斯过程来拟合轨迹，拟合误差模型等，因此这篇笔记对高斯过程概念和原理进行简单梳理，理清楚 GP 是怎么来的，以及怎么用它。如果想更进一步系统学习下，推荐 MIT 出版的 Gaussian Processes for Machine Learning.高斯过程是什么高斯过程...

前言两轮差速轮式机器人可以基于码盘数据和两轮间距以及车轮半径进行航迹推演，得到机器人的轨迹。激光雷达也可以利用 icp 等算法计算出两时刻间机器人的相对运动量。因此，可以利用两者数据进行融合定位，本博客根据 Censi 2013 年发表在 TRO 上的论文，对如何标定里程计内参数 ( 轮子半径，两轮间距)，以及外参数（激光和里程计之间的坐标关系）进行理论推导，并将对应标定代码整理在了我们的网站上...

2d 激光和相机之间之间的标定早在 04 年就出了成熟的论文和方法，去年 17 年 ICCV， IROS，今年 IROS 等依然还有论文产出。具体的论文列表可以参考我的《论文阅读整理》博客，这篇博客主要讲述 04 年方法的原理以及代码的实现, 代码将开放，在自己机器人上采集了多次数据进行标定，标定结果在 1cm 内浮动，均值附近正负几毫米。标定原理准备材料：标定板一个（平板上贴有棋盘格或者二维...

marker BA 公式推导李代数求导基础有四种方式进行李代数的求导： gtsam作者笔记里的推导方式，strasdat博士论文里的推导方式，TUM kerl硕士论文里的推导方式，最后就是barfoot的state esitamtion for robotics一书中的推导了。最直观简介的是gtsam和kerl的推导，最完备最可扩展的推导是barfoot的方式，也就是高翔书上的推导。

本文记录使用 Kalibr 标定双目相机内外参数以及和IMU之间外参数的标定过程. 采用的硬件设备为小觅的双目VIO设备( MyntEYE), 并且默认你已经有了ROS的知识基础.标定 stereo-imu 之前, 需要知道双目的内外参数, 所以先进行双目内外参数的标定.材料准备安装Kalibr (忽略)准备标定板标定板可以用 kalibr 提供的pdf, 里面有三种类型的标定板(Apr...

前言：以前读论文，都是靠脑子硬记，哪个实验室，谁，哪一年在什么会议上发了一篇关于什么的论文。当需要回溯的时候，每篇论文能给出个大概，不具体，找起来也麻烦，以后就在这个 List 里分类整理已经读过的论文。之前读的，以及后续的一些新的有意义的论文都会慢慢补充进来。VIO 初始化和外参数标定该部分主要是 VIO系统中初始参数的确定，如相机尺度，系统初始速度，重力方向，imu bias，甚至相机和 ...

位姿优化的时候，两个顶点的类型是SE3，涉及到的误差雅克比是pose error对pose的求导，里面有些知识值得注意，故记录下来。前期准备重新翻看Ethan Eade的《Lie Groups for 2D and 3D Transformations》，发现他的文档早已有相关推导。比如针对两个SO3乘积对其中一个求导： 比如同理两个SE3乘积对其中一个求导： 上面这两个

ubuntu 16.04 安装了ROS kinetic，而ROS自带的是opencv3.1。之前有一个程序opencv2和opencv3效果不一样，因此决定再装一个opencv2。

之前为了改动svo进行了一些不同的尝试，两个视频demo在下面。效果1视频链接： https://v.qq.com/x/page/d0383rpx3ap.html在不同数据集上测试 效果2视频链接： https://v.qq.com/x/page/k03832nd7pu.htmlvo2对着天花板，用于室内机器人 vo2在euroc数据集上，无人机从起点飞出到飞回原点，可看到轨迹中起始点闭

在ORB-SLAM初始化的时候，作者提到，如果场景是平面，或者近似平面，或者低视差时，我们能应用单应性矩阵(homography)，这三种情形在我应用SVO的过程中颇有同感，打破了我对HH矩阵的固有映像，即只能用于平面或近似平面。但是我不知道如何去具体分析这里面的误差，比如不共面的情况时，应用HH矩阵将一个图像坐标从图像1投影到图像2时，它会落在图像哪个位置？和实际位置的误差该怎么计算？误差会有多

DSO中除了完善直接法估计位姿的误差模型外(加入了仿射亮度变换，光度标定，depth优化)，另一个核心就是像okvis一样使用sliding window来优化位姿，Engel也专门用了一节来介绍它。然而对于初次接触sliding window的初学者来说，这部分论文里使用的众多专业术语，如“First Estimate Jacobians”，“Marginalization”，“Schur co

gtsam里面只有一个isam2的例子，那个例子里面没有添加位姿闭环约束，主要是视觉BA。而通过闭环优化位姿的gtsam程序主要是Pose2SLAMExample.cpp等，这种用法类似g2o，不能体现isam2的增量优化特性，因此我仿照Pose2SLAMExample里的数据写了一个增量优化位姿的isam2程序，用法上还是有isam2的特性，特别注意graph里的只有isam2优化以后新加的约束

这两天视觉SLAM界的大新闻就是Direct Sparse Odometry(DSO)开源了，小伙伴们都迫不及待的赶紧上手撩了一下，论文下载地址请戳。为了紧跟学术前沿，我们此篇文章将作为学习DSO的一个开端，和大家一起来前排感受下Prof. Cremers 门派大弟子Engel博士的新绝学。文章将分为四部分，DSO的安装，DSO在公共数据集上的运行，DSO在自己数据集上的运行，DSO在实时摄像头下

在视觉SLAM的很多论文中，会大量或者偶尔出现marginalization这个词(翻译为边缘化)，有的论文是特地要用它，比如sliding window slam [2], okvis [3], dso [4]。而有的论文是简单的提到，比如g2o[1]，orbslam。因此，很有必要对这个概念进行了解。

2016.9.20 update：添加论文中部分公式推导。 2016.9.9 update：完善部分代码 2016.9.7：初始博客单目摄像头的Semi Dense 听起来很美，比如有人想用这个结合机器人导航，有人用它和三维物体识别相结合，用来同时提升定位和识别率。最近对单目semi dense也有了一些想法，想先按着ORB_SLAM作者论文实现下semi dense,练练手:《Probabi

SVO代码中有很多细节值得注意