深蓝学院 王锐 视觉SLAM直接法简介 笔记

Tji怎么理解，因为右边乘的一般是i坐标系下的，然后转到j坐标系下，所以这么念

看着我理解了本质矩阵，就是Rt相乘的一个矩阵！求本质矩阵其实就是求Rt!
R*t总共有9个数字，但是，E绝对的尺度是不知道的，因为那个方程，多大相乘都是为0，所以只需要8个点，也就是8点法！
给两张图像，给其中至少8个对应像素点，可以把这两个图像之间的相对位置给算出来。
但是其实可以更少，Rt是刚体运动，刚体自由度是6，减去一根尺度，那自由度是5，R的自由度是3，t的自由度，因为绝对尺度求不出来，所以自由度为2不是3.所以理论上我们最少只需要五对点就可以把R和t给求出来了。当然实际当中最常用的还是8点法。
这个东西虽然很基础，但是时不时会用到。
（我看计算机视觉中的多视图几何里面也是有讲基本矩阵的计算的，本质矩阵是基本矩阵的一部分，pnp也是要求解本质矩阵吧）
经常想一想有多少个未知量，有多少个约束，有帮助于你理解这个问题，做视觉SLAM的时候。你做视觉SLAM，要求解相机位姿，是六个自由度，要求解特征点位置是多少个自由度，对应约束有多少，可以从哪里来。

这里给出了SFM和SLAM的关系
SFM用于基于图像的三维重建，可以在线或者离线，时序上可以顺序或者乱序，而SLAM是在线实时的。这是两者的区别。（确实我看三维重建课程里面也有讲SFM的）

特征点法的核心是重投影误差，直接法的核心是光度误差。

根据光度误差优化R t d 误差就是像素的颜色差
 

直接法建出的图更稠密一些

（直接法没有特征点匹配对应关系，需要较小视差，这会不会是SVO2.0对转偏航不鲁棒的原因？）

特征点法对运动模糊不鲁棒因为一模糊特征点描述子可能就变了。

光度标定，就是如果一张图像一直比另一张图像亮或者按，这样子，可能需要光度标定。

大范围视觉里程计，其实主要想讲的是DSO,双目DSO

好像讲的这个人就是双目DSO的作者或者作者之一？

给一张图，用神经网络预测出深度，这样可以达到双目对尺度约束的效果，解决单目尺度上的问题。可以得到和双目一样甚至更好的效果，这个工作是下面这篇论文。

双目DSO还可以给比较好的三维重建

果然王锐就是这个DSO的第一作者
 

 

（我个人感觉双目DSO应该算半稠密吧？）

第一个代表性工作讲完了，现在讲第二个代表性工作

语义分割你可以在图像上做，然后投射到三维点云上去，也可以直接在三维点云上做，不管怎么做，最后结果就是语义分割好的三维的点云。

SDF就是有向距离场，在物体里面用负值，在物体外面用正值。

直接法的点云质量是比较高的，但是目前还没有很好地用起来

DSO虽然建出了半稠密地图，但是没有实现地图的复用