振华OPPO的博客世界

参考链接：https://blog.csdn.net/catpico/article/details/121055337。部署时间：21:20-24:00=2.5h，10:00-11:20=1.5h，总计4h，不包含ORB-SLAM2的环境。运行的速度很慢，因为是在CPU上对每帧先进行实例分割再提取特征点和匹配，并且还会根据前后的关键帧修复背景。总之，在编译mask-rcnn所需的库文件这里出现了很多报错，锻炼分析问题-解决问题的能力吧。文章完成时间：2023-05-14 12:47:45。

PSM-Net根据Stereo图像生成depth图像

1、安装相关依赖：sudo apt-get install libeigen3-devsudo apt-get install libtbb-dev2、下载源代码：git clone https://bitbucket.org/gtborg/gtsam.git3、编译安装：cd gtsammkdir build && cd buildcmake ..makesudo make install ......

1、新建文件夹room，在此文件夹下新建目录rgb和depth保存提取出来的深度图和彩色图，同时新建文件rgb.txt和depth.txt保存图片的时间戳和文件名。2、新建Python脚本，代码如下，将其中的rgb、depth、file_handle1、file_handle2、rosbag.Bag修改为自己对应的路径即可。非常重要的K和D矩阵，K从左至右依次为fx、cx、fy、cy，D从左至右依次为k1、k2、p1、p2。查看rosbag的具体信息，比如时长、大小、话题等，其中。

经历了昨晚2h+早上2.5h+下午2.5h（太菜了），终于成功部署运行了EAO-SLAM！吴艳敏大佬的作品，几何和语义相结合。一定要是下面的命令格式，我因为cd到mono_tum所在目录运行一直卡住，就是因为必须得在根目录中运行。make编译EAO-SLAM源代码时会在60%时候报error停止，但是并没有任何信息告诉你哪里错了。运行EAO-SLAM时，updating model 段错误 (核心已转储)初稿完成于2023-01-05 11:18:48，一直未发布。，然后加上即可编译成功。

Kitti数据集很庞大，包含了双目、光流、场景流、深度、里程计、目标、跟踪、马路、语义、原始数据等大类别，每个大类别又包含很多的细分的序列。类别详情官网解释的很清楚。比如我想下载自动驾驶的里程计数据集（灰度图，22GB），直接点击下载链接即可，如果你的下载速度很慢，建议直接找百度网盘链接下载。官网地址：https://www.cvlibs.net/datasets/kitti/eval_odometry.php。可以在双目程序中运行数据集得到相机的轨迹和关键帧的轨迹，然后使用评估工具对各项指标进行评估。

ORB-SLAM2是特征点法的视觉SLAM集大成者，不夸张地说是必学代码。博主已经多次部署运行与ORB-SLAM2相关的代码，所以对环境和依赖很熟悉，对整个系统也是学习了几个月，一行行代码理解。本次在工控机上部署记录下完整的流程。

本文展示了在微型飞行器（MAV）上收集的视觉惯性数据集。数据集包含立体图像、同步 IMU 测量以及精确的运动和结构地面实况。这些数据集发表于：M. Burri，J. Nikolic，P. Gohl，T. Schneider，J. Rehder，S. Omari，M. Achtelik和R. Siegwart，EuRoC微型飞行器数据集，国际机器人研究杂志，DOI：10.1177 / 0278364915620033，2016年初。

在估计RGB-D相机轨迹并将其保存到文件中后，我们需要通过将其与地面事实进行比较来评估估计轨迹中的误差。有不同的错误指标。两种突出的方法是绝对轨迹误差（ATE）和相对姿势误差（RPE）。ATE非常适合测量可视 SLAM 系统的性能。相比之下，RPE非常适合测量视觉里程计系统的漂移，例如每秒漂移。

本文表明，使用深度卷积神经网络（CNN）进行的特征提取可以无缝地整合到现代SLAM框架中。所提出的SLAM系统利用最先进的CNN来检测每个图像帧中的关键点，并且不仅提供关键点描述符，而且提供整个图像的全局描述符。然后，不同的 SLAM 模块使用这些本地和全局功能，与使用手工制作的功能相比，对环境变化和视点变化的鲁棒性要高得多。我们还使用词袋（BoW）方法训练局部特征的视觉词汇。基于局部特征、全局特征和词汇表，构建了一种高可靠的闭环检测方法。实验结果表明，所提模块均显著优于基线。

当使用RGB-D模式时，需要用到depth和rgb两个文件夹里的图片，而且需要associate.py脚本文件关联 RGB 图像和深度图像。在这步中我们需要使用RGB 图像和深度图像的关联文件，ORB-SLAM2的作者在examples/RGB-D/associations/路径下提供了某些序列的关联文件。sse：和方差/误差平方和；和绝对轨迹误差参数相同，使用相机轨迹的原因在于它包含了关键帧轨迹，反映的是全局一致的地图。xyz坐标系的视图，显示各个时间下相机的x、y、z坐标，纵轴单位为m，横轴单位为s。

如果你是第一次做实验，建议下载xyz的数据集，因为它的动作相对很小，只包含桌面上的一小部分。一旦成功测试，就可以试试desk数据集，它包含四张桌子和几个闭环。