Ubuntu 20.04 配置 VINS-Fusion-gpu + OpenCV 4.6.0

准备工作：

（1）电脑装有 NVIDIA 显卡

（2）安装 ROS noetic/Installation/Ubuntu - ROS Wiki

（3）安装 cuda Ubuntu安装cuda_GXU_Wang的博客-CSDN博客

（4）安装 ceres 1.14.0 Ubuntu20.04安装Ceres1.14.0_我是你de不死的bug的博客-CSDN博客

一、安装OpenCV 4.6.0

下载 opencv 源码，选择所需要的版本 opencv 4.6.0，相应的扩展opencv_contrib 4.6.0，以及用于桥接 ROS 和 opencv 的 cv_bridge

Release OpenCV 4.6.0 · opencv/opencv · GitHub

Release 4.6.0 · opencv/opencv_contrib · GitHub

https://github.com/ros-perception/vision_opencv/tree/

考虑将 opencv 安装在 /usr/local/opencv-4.6.0下，移动opencv及其扩展模块并进入工作目录

sudo mv ./opencv-4.6.0/ /usr/local/
sudo mv ./opencv_contirb-4.6.0/ /usr/local/
cd /usr/local/opencv-4.6.0/

编译前现确定 opencv 的安装路径，我的安装路径是

CMAKE_INSTALL_PREFIX=/usr/local/opencv-4.6.0

确定自己显卡的算力

CUDA GPUs - Compute Capability | NVIDIA Developer

注意 cuda 要根据自己的需求安装，不要装 cuda 12 编译会报错，可以装稍微低一点，可以参考

不同版本CUDA支持的算力_WenZhaoYang123468的博客-CSDN博客

编译 opencv 4.6.0，

sudo mkdir build && cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE \
        -D CMAKE_INSTALL_PREFIX=/usr/local/opencv-4.6.0 \
        -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.6.0/modules \
        -D WITH_CUDA=ON \
        -D CUDA_ARCH_BIN=7.2 \
        -D CUDA_ARCH_PTX="" \
        -D ENABLE_FAST_MATH=ON \
        -D CUDA_FAST_MATH=ON \
        -D WITH_CUBLAS=ON \
        -D WITH_LIBV4L=ON \
        -D WITH_GSTREAMER=ON \
        -D WITH_GSTREAMER_0_10=OFF \
        -D WITH_QT=ON \
        -D WITH_OPENGL=ON \
        -D CUDA_NVCC_FLAGS="--expt-relaxed-constexpr" \
        -D WITH_TBB=ON \
        ..

电脑性能好的话可以多核编译 make -j8，如果出现兼容性错误的花建议用 make，速度慢一点

make -j8
sudo make install

这里编译会很慢，耐心等待，只要一开始没有什么报错后面就不会报错。

二、配置自己的 cv_bridge 功能包

因为 opencv 的数据和 ROS 的数据需要转化，因此需要通过 cv_bridge 这个桥接工具，接下来我们介绍怎么自己下载安装并配置一个自己的 cv_bridge 功能包。

首先，创建一个 ROS 的工作空间

mkdir -r ~/cv_bridge_460/src/
cd ~/cv_bridge_460/src/

然后，下载对应版本的源码，因为是 Ubuntu 20.04 因此下载 noetic 版本

GitHub - ros-perception/vision_opencv at noetic

下载完成后解压到 ~/cv_bridge_460_ws/src/ 目录下，因为我们只需要 cv_bridge，所以只需保留 cv_bridge 文件夹，将其放在 ~/cv_bridge_460_ws/src/，重命名为cv_bridge_460，然后修改一下 cv_bridge_460 的配置文件。

（1）CMakeLists.txt 文件

在 set(_opencv_version 4) 前面添加你的 opencv 安装路径，大概在第 20 行

set(OpenCV_DIR /usr/local/opencv-4.6.0/build/)
set(_opencv_version 4)
find_package(OpenCV 4 QUIET)

另外由于是自己制作的 cv_bridge 对应于 opencv 4.6.0 版本的功能包，因此最好将包名该一下，我这里是改成 cv_bridge_460

# project(cv_bridge)
project(cv_bridge_460)

（2）package.xml

同理在 package.xml 中也改一下报名

<package format="2">
#  <name>cv_bridge</name>
  <name>cv_bridge_460</name>

然后编译这个功能包

cd ~/cv_bridge_460_ws/
catkin_make

如果编译成功，则 cv_bridge_460 功能包制作就完成了，这也说明 opencv 4.6.0 已经正确安装了，并且这个cv_bridge_460 功能包可以正确连接上自己安装的 opencv 版本，最后我们将这个功能包的路径添加到 ~/.bashrc 文件夹中，使得我们在后面编译 vins-fusion-gpu 时可以调用这个 cv_bridge_460 功能包，打开 ~/.bashrc文件夹，在最后加入如下命令

source ~/cv_bridge_460_ws/devel/setup.bash

 最后在终端 source 一下当前该路径

source ~/.bashrc

三、编译 vins-fusion-gpu

创建 vins-fusion-gpu 工作空间，

mkdir ~/catkin_ws_gpu/src
cd ~/catkin_ws_gpu/src

然后下载 vins-fusion-gpu 包到 catkin_ws/src 工作目录下

git clone https://github.com/pjrambo/VINS-Fusion-gpu.git

（1）修改 vins_estimator/CMakeLists.txt 文件

将 cv_bridge 改成 cv_bridge_460

find_package(catkin REQUIRED COMPONENTS
    roscpp
    std_msgs
    geometry_msgs
    nav_msgs
    tf
    cv_bridge_460
    camera_models
    image_transport)

注释一行

#include(/home/dji/opencv/build/OpenCVConfig.cmake)

添加 cv_bridge_460 功能包的路径和 opencv-4.6.0 的路径

set(cv_bridge_460_DIR "/home/lilabws01/cv_bridge_460_ws/devel/share/cv_bridge_460/cmake")
set(OpenCV_DIR "/usr/local/opencv-4.6.0/build/")

 （2）修改 loop_fusion/CMakeLists.txt 文件

find_package(catkin REQUIRED COMPONENTS
    roscpp
    std_msgs
    nav_msgs
    camera_models
    cv_bridge_460
    roslib
    )

注释一行

#include(/home/dji/opencv/build/OpenCVConfig.cmake)

添加 cv_bridge_460 功能包的路径和 opencv-4.6.0 的路径

set(cv_bridge_460_DIR "/home/lilabws01/cv_bridge_460_ws/devel/share/cv_bridge_460/cmake")
set(OpenCV_DIR "/usr/local/opencv-4.6.0/build/")

保存并退出，最后进入 VINS-Fusion-gpu 文件夹

cd ./VINS-Fusion-gpu/

终端输入下面代码使得 VINS-Fusion-gpu 自动匹配 OpenCV4 版本（变量名发生变化）

sed -i 's/CV_FONT_HERSHEY_SIMPLEX/cv::FONT_HERSHEY_SIMPLEX/g' `grep CV_FONT_HERSHEY_SIMPLEX -rl ./`
sed -i 's/CV_LOAD_IMAGE_GRAYSCALE/cv::IMREAD_GRAYSCALE/g' `grep CV_LOAD_IMAGE_GRAYSCALE -rl ./`
sed -i 's/CV_BGR2GRAY/cv::COLOR_BGR2GRAY/g' `grep CV_BGR2GRAY -rl ./`
sed -i 's/CV_RGB2GRAY/cv::COLOR_RGB2GRAY/g' `grep CV_RGB2GRAY -rl ./`
sed -i 's/CV_GRAY2RGB/cv::COLOR_GRAY2RGB/g' `grep CV_GRAY2RGB -rl ./`
sed -i 's/CV_GRAY2BGR/cv::COLOR_GRAY2BGR/g' `grep CV_GRAY2BGR -rl ./`
sed -i 's/CV_CALIB_CB_ADAPTIVE_THRESH/cv::CALIB_CB_ADAPTIVE_THRESH/g' `grep CV_CALIB_CB_ADAPTIVE_THRESH -rl ./`
sed -i 's/CV_CALIB_CB_NORMALIZE_IMAGE/cv::CALIB_CB_NORMALIZE_IMAGE/g' `grep CV_CALIB_CB_NORMALIZE_IMAGE -rl ./`
sed -i 's/CV_CALIB_CB_FILTER_QUADS/cv::CALIB_CB_FILTER_QUADS/g' `grep CV_CALIB_CB_FILTER_QUADS -rl ./`
sed -i 's/CV_CALIB_CB_FAST_CHECK/cv::CALIB_CB_FAST_CHECK/g' `grep CV_CALIB_CB_FAST_CHECK -rl ./`
sed -i 's/CV_ADAPTIVE_THRESH_MEAN_C/cv::ADAPTIVE_THRESH_MEAN_C/g' `grep CV_ADAPTIVE_THRESH_MEAN_C -rl ./`
sed -i 's/CV_THRESH_BINARY/cv::THRESH_BINARY/g' `grep CV_THRESH_BINARY -rl ./`
sed -i 's/CV_SHAPE_CROSS/cv::MORPH_CROSS/g' `grep CV_SHAPE_CROSS -rl ./`
sed -i 's/CV_SHAPE_RECT/cv::MORPH_RECT/g' `grep CV_SHAPE_RECT -rl ./`
sed -i 's/CV_TERMCRIT_EPS/cv::TermCriteria::EPS/g' `grep CV_TERMCRIT_EPS -rl ./`
sed -i 's/CV_TERMCRIT_ITER/cv::TermCriteria::MAX_ITER/g' `grep CV_TERMCRIT_ITER -rl ./`
sed -i 's/CV_RETR_CCOMP/cv::RETR_CCOMP/g' `grep CV_RETR_CCOMP -rl ./`
sed -i 's/CV_CHAIN_APPROX_SIMPLE/cv::CHAIN_APPROX_SIMPLE/g' `grep CV_CHAIN_APPROX_SIMPLE -rl ./`
sed -i 's/CV_AA/cv::LINE_AA/g' `grep CV_AA -rl ./`

解释参考 Docker 制作各 ROS 版本 VINS-Fusion 镜像_想要个小姑娘的博客-CSDN博客

然后进入 catkin_ws/ 工作目录，进行编译

cd ~/catkin_ws/
catkin_make

编译成功后 VINS-Fusion-gpu 就可以运行啦，运行方式参考

Jetson Orin NX 开发指南（6）: VINS-Fusion-gpu 的编译和运行_想要个小姑娘的博客-CSDN博客

最后终端输入nvidia-smi 可以查看 vins-node 使用 GPU 的情况

四、修改 VINS-Fusion-gpu

在 VINS-Fusion-gpu 中，特征追踪的图像是直接显示在外面的，但是在 VINS-Fusion 中，特征追踪的图像是集成在 rviz 中的，下面我们介绍如何修改 VINS-Fusion-gpu 源码使得特征追踪的图像显示在 rviz 中。

首先用 vscode 打开 VINS-Fusion-gpu 目录 进入 feature_tracker.cpp，找到下图所示的两行

这是 VINS-Fusion-gpu 显示特征追踪图像的方式，将其注释

接下来打开 visualization.h，

在上图位置添加（声明发布特征追踪图像的函数）

void pubTrackImage(const cv::Mat &imgTrack, const double t);

然后打开 visualization.cpp，

在上图位置添加（定义发布特征追踪图像的函数）

void pubTrackImage(const cv::Mat &imgTrack, const double t)
{
    std_msgs::Header header;
    header.frame_id = "world";
    header.stamp = ros::Time(t);
    sensor_msgs::ImagePtr imgTrackMsg = cv_bridge::CvImage(header, "bgr8", imgTrack).toImageMsg();
    pub_image_track.publish(imgTrackMsg);
}

接下来还是在 visualization.cpp 中，

在上图两个位置添加

ros::Publisher pub_image_track;

以及

pub_image_track = n.advertise<sensor_msgs::Image>("image_track", 1000);

最后在 estimator.cpp 中

在上图位置添加一行

pubTrackImage(imgTrack, t);

通过编译后，就可以在 rviz 中找到 /vins_estimator/image_track 话题了！

至此，VINS-Fusion-gpu 就完全实现了 VINS-Fusion 的效果！