双目DSO

最新推荐文章于 2022-11-30 07:00:48 发布

W_Tortoise

最新推荐文章于 2022-11-30 07:00:48 发布

阅读量4.3k

点赞数 5

分类专栏： SLAM

本文链接：https://blog.csdn.net/learning_tortosie/article/details/83246028

版权

SLAM 专栏收录该内容

40 篇文章 76 订阅

订阅专栏

论文

Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras

代码

官方未开源。
地平线智能驾驶团队的工作：https://github.com/HorizonAD/stereo_dso
双目DSO是基于DSO的实时双目SLAM系统。它由Horizon Robotics公司的Autonomous Driving Group成员开发，运行在带CPU的笔记本电脑上，为自动驾驶汽车提供本地化和地图服务。
视频演示：https://youtu.be/JZ0JRrGA6Kc

安装

参考DSO的安装：https://github.com/JakobEngel/dso
也可参考我之前的博客：https://blog.csdn.net/learning_tortosie/article/details/81266727

使用

有关如何在数据集上运行，请参阅https://github.com/JakobEngel/dso。使用以下命令在http://www.cvlibs.net/datasets/kitti/eval_odometry.php上运行数据集：

bin/dso_dataset \
		files=XXXXX/sequence_XX \
		calib=XXXXX/sequence_XX/para/camera.txt \
		gamma=XXXXX/sequence_XX/para/pcalib.txt \
		vignette=XXXXX/sequence_XX/para/vignette.png \
		preset=0 \
		mode=1

在sequence_XX下，应该有两个名为image_0和image_1的图像数据集，它们是左右图像集。请注意，模式设置为1，因为我们没有光度校准。此外，运行代码不需要gamma和vignette。也就是说，在kitti数据集上运行的最小范例是：

bin/dso_dataset \
		files=XXXXX/sequence_XX \
		calib=XXXXX/sequence_XX/para/camera.txt \
		preset=0 \
		mode=1

数据集格式

除校准文件外，所有数据集格式与DSO相同。由于涉及双目基线，几何校准文件的格式略有不同。
预校正图像的校准文件

Pinhole fx fy cx cy 0
in_width in_height
"crop" / "full" / "none" / "fx fy cx cy 0"
out_width out_height
baseline

FOV相机模型的校准文件

FOV fx fy cx cy omega
in_width in_height
"crop" / "full" / "fx fy cx cy 0"
out_width out_height
baseline

Radio-Tangential相机模型的校准文件

RadTan fx fy cx cy k1 k2 r1 r2
in_width in_height
"crop" / "full" / "fx fy cx cy 0"
out_width out_height
baseline

EquiDistant相机模型的校准文件

EquiDistant fx fy cx cy k1 k2 r1 r2
in_width in_height
"crop" / "full" / "fx fy cx cy 0"
out_width out_height
baseline

注意：基线以米为单位。

运行模式

可以在main_dso_pangolin.cpp中设置两种模式MODE_SLAM和MODE_STEREOMATCH。如果MODE_STEREOMATCH为真，它将进行立体匹配并在给定一对双目图像的情况下输出idepth图。

Pipeline

这项工作的主要灵感来自Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras。
时间和static stereo结合在一种直接的，实时的SLAM方法中。在深度图估计中，关键帧和非关键帧的处理方式不同。初始化新的关键帧时，我们执行static stereo更新并修剪propagated深度图。非关键帧用于细化关键帧的深度图。有关static stereo深度估计，请参阅ImmaturePoint :: traceStereo。有关深度propogation，请参阅CoarseTracker :: makeCoarseDepthL0和FullSystem :: traceNewCoarseNonKey。请参阅CoarseInitialzer :: setFirstStereo和FullSystem :: InitializeFromInitialzier以进行双目初始化。

实验

我们在kitti数据集和在高速公路、公园和车库采集的数据集上测试了双目DSO。它在规模，精度，鲁棒性和速度方面的表现优于DSO。

DSO的尺度远小于groud truth
双目DSO可以实现更好的精度和更快的速度
根据评估，双目DSO实现约1.1％～4.2％的平移误差，0.001 deg/m~0.0053 deg/m旋转误差，每帧运行时间为53ms。
我们还在Kitti 00上测试了双目DSO。它实现了大约1.3％～3.7％的平移误差，0.002 deg/m～0.007 deg/m的旋转误差，每帧运行时间为56毫秒。

总之，与DSO相比，双目DSO有几个优点：