视觉SLAM14讲学习笔记-ch12

最新推荐文章于 2024-10-27 07:57:56 发布

YJD-Climb

最新推荐文章于 2024-10-27 07:57:56 发布

阅读量330

点赞数 4

文章标签：笔记

本文链接：https://blog.csdn.net/shuaibidebei/article/details/142315752

版权

本博客主要记录学习高翔老师视觉SLAM14讲的总结笔记，若有总结不对的地方，欢迎大家与我讨论。

一、单目稠密重建

立体视觉：单目相机中利用三角化计算像素值深度，双目相机中利用视差计算像素深度，都可以称之为立体视觉。
本书中考虑简单问题：在已知每幅图像的相机位姿，仅考虑如何对第一幅图像建图的问题。
图像中特征点自然是可以利用特征匹配来完成匹配，从而再利用三角化测量来计算像素点深度。但对于其他普通像素无法利用特征匹配来完成匹配，所以需要用到极线搜索和块匹配技术。但深度值往往受匹配精度影响较大，所以常需要用多幅图像对深度估计，才能使深度不确定性逐步收敛，也称为深度滤波器技术。
极限搜索和块匹配：

由于深度d不确定，所以在I2上为一条极线，P2是极线上的某一点，但由于图像存在太多相似的像素点，自然想到可以利用块匹配来辨别相似度，即块匹配。块匹配是指在P1周围取 $w \times w$ 小块，然后在极限上也取同样大小的小块进行比较，相似度计算方法：

$SAD(A,B)=\sum_{i,j}\left | A(i,j)-B(i,j) \right |$

$SSD(A,B)=\sum_{i,j}(A(i,j)-B(i,j))^{2}$

$NCC(A,B)=\frac{\sum_{i,j}A(i,j)B(i,j)}{\sqrt{\sum_{i,j}A(i,j)^{2}\sum_{i,j}B(i,j)^{2}} }$

可以先对每个小块做取均值的处理，这样可对光线的变化具有一定的鲁棒性。

高斯分布的深度滤波器：虽然非线性优化的效果更好，但在建图方面会考虑采用计算量较少的滤波器方式。若将深度值简单假设为服从高斯分布，即：

$P(d)\sim N(\mu ,\delta ^{2})$

新的一次观测后，会得到新的高斯分布：

$P(d_{obs})\sim N(\mu_{obs} ,\delta_{obs} ^{2})$

将两次信息融合，得到d的分布为 $N(\mu_{fuse},\delta_{fuse} ^{2})$

$\left\{\begin{matrix} \mu_{fuse}=\frac{\delta_{obs}^{2}\mu + \delta^{2}\mu_{obs}}{\delta_{obs}^{2}+\delta^{2}} \\ \delta_{fuse}^{2}=\frac{\delta_{obs}^{2}\delta^{2}}{\delta_{obs}^{2}+\delta^{2}} \end{matrix}\right.$

而 $\delta_{obs}$ 的确认可以简单的采用几何不确定，当不确定性小于一定阈值时，就可以认为深度值已收敛。

二、单目稠密建图的改进方向

对物体纹理的依赖性：有明显梯度的小块将具有很好的区分度，不易引起误匹配。对于梯度不明显的像素，由于块匹配时没有区分性，将难以有效估计深度。
若极线方向与梯度方向垂直，则匹配的不确定性较大，相反，若极线与梯度的夹角越小，则匹配的不确定性就越小。
逆深度：现实情况中，深度通常不是对称的高斯分布，而深度的倒数假设为高斯分布是比较有效的
图像间的变换：若图像间相机发生了旋转，则很难进行匹配。通常需要在块匹配之前，把参考帧与当前帧之间的运动考虑进来。通过重投影的方法，将 $P_{R}\to P_{C}$ ，并在 $P_{R}$ 上各添加一个增量 $du,dv$ 。观察 $P_{C}$ 的增量 $du,dv$ ，由此可得局部范围内参考帧和当前帧图像坐标变换的一个线性关系构成仿射变换：

$\begin{bmatrix} du_{c}\\ dv_{c} \end{bmatrix}=\begin{bmatrix} \frac{du_{c}}{du} & \frac{du_{c}}{dv}\\ \frac{dv_{c}}{du} &\frac{dv_{c}}{dv} \end{bmatrix}\begin{bmatrix} du\\ dv \end{bmatrix}$