ORB_SLAM3笔记本测试（desktop自带的是单目相机）笔记

系统环境

电脑        蛟龙16S

ubuntu20.04        noetic        

一键ros        一键换源        （按照脚本一步一步来）

wget http://fishros.com/install -O fishros && bash fishros

 需要额外安装的插件（tools）

Pangolin  0.5-0.6           按照github来

查看版本

pangolin --version

Eigen       3.3.7-3.3.9     按照github来                

查看版本

 gedit /usr/include/eigen3/Eigen/src/Core/util/Macros.h

OpenCV  4.2.0               按照github来(备注：一键ros【自动安装opencv4.2.0】可忽略该项操作、后续有特殊需求在学习opencv多版本切换）             

查看版本

pkg-config --modversion opencv4

克隆编译ORB_SLAM3

1、创建工作目录

mkdir -p ~/catkin_ws/src
cd ~/catkin_ws/src
catkin_init_workspace
cd ~/catkin_ws/
catkin_make
source ~/catkin_ws/devel/setup.bash

2、克隆orb_slam3代码

cd catkin_ws/src
git clone https://github.com/UZ-SLAMLab/ORB_SLAM3.git 

进入catkin_wc/src/ORB_SLAM3修改CMakeLists.txt

opencv更改为4.2

3、安装python2.7

sudo apt install libpython2.7-dev

4、添加ROS环境

sudo gedit ~/.bashrc
export ROS_PACKAGE_PATH=${ROS_PACKAGE_PATH}:/home/用户名/catkin_ws/src/ORB_SLAM3/Examples/ROS
#保存退出
source ~/.bashrc

5、编译

cd catkin_ws/src/ORB_SLAM3
chmod +x build.sh
./build.sh

chmod +x build_ros.sh
./build_ros.sh

单目相机标定

1、安装摄像头驱动 usb-cam 

sudo apt-get install ros-noetic-usb-cam*

 2、启动相机模块

roslaunch usb_cam usb_cam-test.launch

3、查看订阅话题

rostopic list

目标就是       

/usb_cam/image_raw

4、安装ros标定包

sudo apt-get install ros-$ROS_DISTRO-camera-calibration

5、 张正友相机标定

rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/usb_cam/image_raw camera:=/usb_cam

参数含义：

1）size：标定棋盘格的内部角点个数，示例棋盘一共有6行（角点），每行有8个内部角点。
2）square：这个参数对应每个棋盘格的边长，单位是米。
3）image和camera：设置摄像头发布的图像话题。
根据使用的摄像头和标定靶棋盘格尺寸，相应修改以上参数，即可启动标定程序。

在没有标定成功前，右边的按钮都为灰色，不能点击。为了提高标定的准确性，应该尽量让标定靶出现在摄像头视野范围内的各个区域，界面右上角的进度条会提示标定进度。
1）X：标定靶在摄像头视野中的左右移动。
2）Y：标定靶在摄像头视野中的上下移动。
3）Size：标定靶在摄像头视野中的前后移动。
4）Skew：标定靶在摄像头视野中的倾斜转动。
不断在视野中移动标定靶，直到“CALIBRATE”按钮变色，表示标定程序的参数采集完成。点击“CALIBRATE”按钮，标定程序开始自动计算摄像头的标定参数，这个过程需要等待一段时间，界面可能会变成灰色无响应状态，注意千万不要关闭。
参数计算完成后界面恢复，而且在终端中会有标定结果的显示。

点击界面中的“SAVE”按钮，标定参数将被保存到默认的文件夹下，并在终端中看到该路径

点击“COMMIT”按钮，提交数据并退出程序。然后打开/tmp文件夹，就可以看到标定结果的压缩文件calibrationdata.tar.gz；解压该文件后的内容如图所示，从中可以找到ost.yaml命名的标定结果文件，将该文件复制出来，重新命名就可以使用了。

笔记本摄像头（单目）运行ORB-SLAM3

1.标定文件修改

在相机标定后生成的calibrationdata文件中，在文件最后有2个文本文件ost.txt和ost.yaml，如下图所示

将ost.yaml文件修改为TUM1.yaml文件（路径～/catkin_ws/src/ORB_SLAM3/Examples/Monocular/TUM1.yaml文件的格式的格式：如下

注意：1.ORB Parameters和Viewer Parameters下面的不需要修改

           2.camera_matrix：

fx、fy是焦距        cx、cy是主点
distortion_coefficients：[k1   k2   p1   p2   k3]

k1   k2   p1   p2   k3是畸变参数（一般情况下k3为0）
注意文件参数值对应。

我的修改后文件如下：

%YAML:1.0

#--------------------------------------------------------------------------------------------
# Camera Parameters. Adjust them!
#--------------------------------------------------------------------------------------------
File.version: "1.0"

Camera.type: "PinHole"

# Camera calibration and distortion parameters (OpenCV) 
Camera1.fx: 803.73408
Camera1.fy: 806.78471
Camera1.cx: 331.44125
Camera1.cy: 169.67854

Camera1.k1: -0.100618
Camera1.k2: -0.128132
Camera1.p1: -0.015342
Camera1.p2: 0.022302
Camera1.k3: 0.000000

# Camera frames per second 
Camera.fps: 30

# Color order of the images (0: BGR, 1: RGB. It is ignored if images are grayscale)
Camera.RGB: 1

# Camera resolution
Camera.width: 640
Camera.height: 480

#--------------------------------------------------------------------------------------------
# ORB Parameters
#--------------------------------------------------------------------------------------------

# ORB Extractor: Number of features per image
ORBextractor.nFeatures: 1000

# ORB Extractor: Scale factor between levels in the scale pyramid 	
ORBextractor.scaleFactor: 1.2

# ORB Extractor: Number of levels in the scale pyramid	
ORBextractor.nLevels: 8

# ORB Extractor: Fast threshold
# Image is divided in a grid. At each cell FAST are extracted imposing a minimum response.
# Firstly we impose iniThFAST. If no corners are detected we impose a lower value minThFAST
# You can lower these values if your images have low contrast			
ORBextractor.iniThFAST: 20
ORBextractor.minThFAST: 7

#--------------------------------------------------------------------------------------------
# Viewer Parameters
#--------------------------------------------------------------------------------------------
Viewer.KeyFrameSize: 0.05
Viewer.KeyFrameLineWidth: 1.0
Viewer.GraphLineWidth: 0.9
Viewer.PointSize: 2.0
Viewer.CameraSize: 0.08
Viewer.CameraLineWidth: 3.0
Viewer.ViewpointX: 0.0
Viewer.ViewpointY: -0.7
Viewer.ViewpointZ: -1.8
Viewer.ViewpointF: 500.0

2、新建一个desktop_cam.cpp文件

文件代码如下图所示。这段代码定义了一个SLAM对象，然后会打开你⾃带的摄像头（或视频），读取图像，并交给ORB-SLAM3处理图像数据。

// 该文件将打开你电脑的摄像头，并将图像传递给ORB-SLAM3进行定位
 
// opencv
#include <opencv2/opencv.hpp>
 
// ORB-SLAM的系统接口
#include "System.h"
#include <string>
#include <chrono>   // for time stamp
#include <iostream>
 
using namespace std;
 
// 参数文件与字典文件
// 如果你系统上的路径不同，请修改它
string parameterFile = "./ost.yaml";
string vocFile = "./Vocabulary/ORBvoc.txt";
 
int main(int argc, char **argv) {
 
    // 声明 ORB-SLAM3 系统
    ORB_SLAM3::System SLAM(vocFile, parameterFile, ORB_SLAM3::System::MONOCULAR, true);
 
    // 获取相机图像代码
    cv::VideoCapture cap(0);    // change to 1 if you want to use USB camera.
 
    // 分辨率设为640x480
    cap.set(CV_CAP_PROP_FRAME_WIDTH, 640);;//设置采集视频的宽度
    cap.set(CV_CAP_PROP_FRAME_HEIGHT, 480);//设置采集视频的高度
 
    // 记录系统时间
    auto start = chrono::system_clock::now();
 
    while (1) {
        cv::Mat frame;
        cap >> frame;   // 读取相机数据
        auto now = chrono::system_clock::now();
        auto timestamp = chrono::duration_cast<chrono::milliseconds>(now - start);
        SLAM.TrackMonocular(frame, double(timestamp.count())/1000.0);
    }
 
    return 0;
}

3、修改CMakeLists文件

（路径：/home/itheima/catkin_ws/src/ORB_SLAM3)

添加如下所示的几行代码。

#生成调用摄像头可执行文件
set(CMAKE_RUNTIME_OUTPUT_DIRECTORY ${PROJECT_SOURCE_DIR})
add_executable(ost ost.cpp)
target_link_libraries(ost ${PROJECT_NAME})

4、重新编译ORB_SLAM3

5、执行生成的脚本

cd catkin_ws/src/ORB_SLAM3
./desktop_cam

 工作目录示意

6、运行效果展示

最后欢迎大家批评指正，共同进步。