系统环境
电脑 蛟龙16S
ubuntu20.04 noetic
一键ros 一键换源 (按照脚本一步一步来)
wget http://fishros.com/install -O fishros && bash fishros
需要额外安装的插件(tools)
Pangolin 0.5-0.6 按照github来
查看版本
pangolin --version
Eigen 3.3.7-3.3.9 按照github来
查看版本
gedit /usr/include/eigen3/Eigen/src/Core/util/Macros.h
OpenCV 4.2.0 按照github来(备注:一键ros【自动安装opencv4.2.0】可忽略该项操作、后续有特殊需求在学习opencv多版本切换)
查看版本
pkg-config --modversion opencv4
克隆编译ORB_SLAM3
1、创建工作目录
mkdir -p ~/catkin_ws/src
cd ~/catkin_ws/src
catkin_init_workspace
cd ~/catkin_ws/
catkin_make
source ~/catkin_ws/devel/setup.bash
2、克隆orb_slam3代码
cd catkin_ws/src
git clone https://github.com/UZ-SLAMLab/ORB_SLAM3.git
进入catkin_wc/src/ORB_SLAM3修改CMakeLists.txt
opencv更改为4.2
3、安装python2.7
sudo apt install libpython2.7-dev
4、添加ROS环境
sudo gedit ~/.bashrc
export ROS_PACKAGE_PATH=${ROS_PACKAGE_PATH}:/home/用户名/catkin_ws/src/ORB_SLAM3/Examples/ROS
#保存退出
source ~/.bashrc
5、编译
cd catkin_ws/src/ORB_SLAM3
chmod +x build.sh
./build.sh
chmod +x build_ros.sh
./build_ros.sh
单目相机标定
1、安装摄像头驱动 usb-cam
sudo apt-get install ros-noetic-usb-cam*
2、启动相机模块
roslaunch usb_cam usb_cam-test.launch
3、查看订阅话题
rostopic list
目标就是
/usb_cam/image_raw
4、安装ros标定包
sudo apt-get install ros-$ROS_DISTRO-camera-calibration
5、 张正友相机标定
rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/usb_cam/image_raw camera:=/usb_cam
参数含义:
1)size:标定棋盘格的内部角点个数,示例棋盘一共有6行(角点),每行有8个内部角点。
2)square:这个参数对应每个棋盘格的边长,单位是米。
3)image和camera:设置摄像头发布的图像话题。
根据使用的摄像头和标定靶棋盘格尺寸,相应修改以上参数,即可启动标定程序。
在没有标定成功前,右边的按钮都为灰色,不能点击。为了提高标定的准确性,应该尽量让标定靶出现在摄像头视野范围内的各个区域,界面右上角的进度条会提示标定进度。
1)X:标定靶在摄像头视野中的左右移动。
2)Y:标定靶在摄像头视野中的上下移动。
3)Size:标定靶在摄像头视野中的前后移动。
4)Skew:标定靶在摄像头视野中的倾斜转动。
不断在视野中移动标定靶,直到“CALIBRATE”按钮变色,表示标定程序的参数采集完成。点击“CALIBRATE”按钮,标定程序开始自动计算摄像头的标定参数,这个过程需要等待一段时间,界面可能会变成灰色无响应状态,注意千万不要关闭。
参数计算完成后界面恢复,而且在终端中会有标定结果的显示。
点击界面中的“SAVE”按钮,标定参数将被保存到默认的文件夹下,并在终端中看到该路径
点击“COMMIT”按钮,提交数据并退出程序。然后打开/tmp文件夹,就可以看到标定结果的压缩文件calibrationdata.tar.gz;解压该文件后的内容如图所示,从中可以找到ost.yaml命名的标定结果文件,将该文件复制出来,重新命名就可以使用了。
笔记本摄像头(单目)运行ORB-SLAM3
1.标定文件修改
在相机标定后生成的calibrationdata文件中,在文件最后有2个文本文件ost.txt和ost.yaml,如下图所示
将ost.yaml文件修改为TUM1.yaml文件(路径~/catkin_ws/src/ORB_SLAM3/Examples/Monocular/TUM1.yaml文件的格式的格式:如下
注意:1.ORB Parameters和Viewer Parameters下面的不需要修改
2.camera_matrix:
fx、fy是焦距 cx、cy是主点
distortion_coefficients:[k1 k2 p1 p2 k3]
k1 k2 p1 p2 k3是畸变参数(一般情况下k3为0)
注意文件参数值对应。
我的修改后文件如下:
%YAML:1.0
#--------------------------------------------------------------------------------------------
# Camera Parameters. Adjust them!
#--------------------------------------------------------------------------------------------
File.version: "1.0"
Camera.type: "PinHole"
# Camera calibration and distortion parameters (OpenCV)
Camera1.fx: 803.73408
Camera1.fy: 806.78471
Camera1.cx: 331.44125
Camera1.cy: 169.67854
Camera1.k1: -0.100618
Camera1.k2: -0.128132
Camera1.p1: -0.015342
Camera1.p2: 0.022302
Camera1.k3: 0.000000
# Camera frames per second
Camera.fps: 30
# Color order of the images (0: BGR, 1: RGB. It is ignored if images are grayscale)
Camera.RGB: 1
# Camera resolution
Camera.width: 640
Camera.height: 480
#--------------------------------------------------------------------------------------------
# ORB Parameters
#--------------------------------------------------------------------------------------------
# ORB Extractor: Number of features per image
ORBextractor.nFeatures: 1000
# ORB Extractor: Scale factor between levels in the scale pyramid
ORBextractor.scaleFactor: 1.2
# ORB Extractor: Number of levels in the scale pyramid
ORBextractor.nLevels: 8
# ORB Extractor: Fast threshold
# Image is divided in a grid. At each cell FAST are extracted imposing a minimum response.
# Firstly we impose iniThFAST. If no corners are detected we impose a lower value minThFAST
# You can lower these values if your images have low contrast
ORBextractor.iniThFAST: 20
ORBextractor.minThFAST: 7
#--------------------------------------------------------------------------------------------
# Viewer Parameters
#--------------------------------------------------------------------------------------------
Viewer.KeyFrameSize: 0.05
Viewer.KeyFrameLineWidth: 1.0
Viewer.GraphLineWidth: 0.9
Viewer.PointSize: 2.0
Viewer.CameraSize: 0.08
Viewer.CameraLineWidth: 3.0
Viewer.ViewpointX: 0.0
Viewer.ViewpointY: -0.7
Viewer.ViewpointZ: -1.8
Viewer.ViewpointF: 500.0
2、新建一个desktop_cam.cpp文件
文件代码如下图所示。这段代码定义了一个SLAM对象,然后会打开你⾃带的摄像头(或视频),读取图像,并交给ORB-SLAM3处理图像数据。
// 该文件将打开你电脑的摄像头,并将图像传递给ORB-SLAM3进行定位
// opencv
#include <opencv2/opencv.hpp>
// ORB-SLAM的系统接口
#include "System.h"
#include <string>
#include <chrono> // for time stamp
#include <iostream>
using namespace std;
// 参数文件与字典文件
// 如果你系统上的路径不同,请修改它
string parameterFile = "./ost.yaml";
string vocFile = "./Vocabulary/ORBvoc.txt";
int main(int argc, char **argv) {
// 声明 ORB-SLAM3 系统
ORB_SLAM3::System SLAM(vocFile, parameterFile, ORB_SLAM3::System::MONOCULAR, true);
// 获取相机图像代码
cv::VideoCapture cap(0); // change to 1 if you want to use USB camera.
// 分辨率设为640x480
cap.set(CV_CAP_PROP_FRAME_WIDTH, 640);;//设置采集视频的宽度
cap.set(CV_CAP_PROP_FRAME_HEIGHT, 480);//设置采集视频的高度
// 记录系统时间
auto start = chrono::system_clock::now();
while (1) {
cv::Mat frame;
cap >> frame; // 读取相机数据
auto now = chrono::system_clock::now();
auto timestamp = chrono::duration_cast<chrono::milliseconds>(now - start);
SLAM.TrackMonocular(frame, double(timestamp.count())/1000.0);
}
return 0;
}
3、修改CMakeLists文件
(路径:/home/itheima/catkin_ws/src/ORB_SLAM3)
添加如下所示的几行代码。
#生成调用摄像头可执行文件
set(CMAKE_RUNTIME_OUTPUT_DIRECTORY ${PROJECT_SOURCE_DIR})
add_executable(ost ost.cpp)
target_link_libraries(ost ${PROJECT_NAME})
4、重新编译ORB_SLAM3
5、执行生成的脚本
cd catkin_ws/src/ORB_SLAM3
./desktop_cam
工作目录示意
6、运行效果展示
最后欢迎大家批评指正,共同进步。