【Ubuntu18.04】激光雷达与相机联合标定（Livox+HIKROBOT）（一）相机内参标定

已于 2023-10-27 16:00:36 修改
阅读量1.8k 收藏 32
点赞数 1
文章标签： 数码相机
于 2023-10-23 21:37:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44703886/article/details/133668090
版权

Livox+HIKROBOT联合标定——相机内参标定

引言

Livox Lidar + HIKROBOT Camera 联合标定
参考链接：相机雷达标定文档
安装ROS环境，参考笔者的博客：【ROS】Ubuntu18.04安装Ros

1 海康机器人HIKROBOT SDK二次开发并封装ROS

1.1 介绍

参考链接：海康Camera MVS Linux SDK二次开发封装ROS packge过程记录（c++）

海康的相机没有ros驱动，且对linux开发不太友好（但支持windows），因此需要重写了sdk接口，并创建了ros节点封装成ros包，方便linux环境下ros的调用
完整版ros驱动：https://github.com/luckyluckydadada/HIKROBOT-MVS-ROS-package

  • 即使海康的相机是usb传输数据，但是不同于其他usb设备的调用，海康的相机并不会在/dev/目录下映射ttyUSB或video1这样的设备，所以不能用open/read/write这样的system call的方式打开设备，所以https://github.com/ros-drivers/usb_cam这样的usb ros驱动无法支持。因此只能自己开发ros驱动包。
  • 海康的打开设备的方式在MvUsb3VDevice.h和MvGigEDevice.h中实现（分别对应usb3.0相机和以太网相机），具体过程并没有开源，只提供了相应的so文件，海康提供了统一的接口MV_CC_EnumDevices实现对两种设备（usb3.0接口和以太网接口）的调用，因此开发一个ros驱动包是两种相机都适用的。海康的相机sdk虽然不开源，但是提供了armhf和aarch64架构编译的so文件。

1.2 安装MVS SDK

参考笔者的博客：
【HIKROBOT】海康机器人：工业相机SDK二次开发

1.3 封装ROS packge

海康威视工业相机sdk的ros驱动包的安装步骤：

step1：安装

# 创建catkin工作空间
mkdir ws_hk_mvs_ros  
# 克隆源码到工作空间（海康机器人的ROS软件包）
git clone https://github.com/luckyluckydadada/HIKROBOT-MVS-ROS-package.git ws_hk_mvs_ros/src
cd ws_hk_mvs_ros
# 编译Catkin工作空间中的ROS包
catkin_make

在这里插入图片描述

step2：直接运行node
需要先启动roscore
在这里插入图片描述

source ./devel/setup.bash 
rosrun hk_camera hk_camera_node

在这里插入图片描述

step3：launch启动node

source ./devel/setup.bash 
roslaunch hk_camera hk_camera.launch

在这里插入图片描述

step4：launch启动node和rviz node
用 rviz 订阅 /hk_camera_node/image_raw 查看照片

source ./devel/setup.bash 
roslaunch hk_camera hk_camera_rviz.launch

在这里插入图片描述
在这里插入图片描述

2 览沃Livox SDK二次开发并封装ROS

参考笔者博客：【Ubuntu18.04】Livox Tele-15使用教程
安装Livox环境和驱动

# 安装Livox_SDK
git clone https://github.com/Livox-SDK/Livox-SDK.git
cd Livox-SDK
cd build && cmake ..
make
sudo make install

# 安装livox_ros_driver
cd  Livox-SDK  # 进入Livox-SDK目录
git clone https://github.com/Livox-SDK/livox_ros_driver.git ws_livox/src
cd ws_livox   # 进入工作空间
catkin_make

3 相机雷达联合标定——相机内参标定

3.1 环境配置

3.1.1 安装依赖——PCL 安装

参考链接：Ubuntu18.04安装PCL 1.9.1(图文详解，附踩坑和测试)

step1：安装依赖

sudo apt-get update
sudo apt-get install git build-essential linux-libc-dev
sudo apt-get install cmake cmake-gui
sudo apt-get install libusb-1.0-0-dev libusb-dev libudev-dev
sudo apt-get install mpi-default-dev openmpi-bin openmpi-common
sudo apt-get install libflann1.8 libflann-dev
sudo apt-get install libeigen3-dev
sudo apt-get install libboost-all-dev
sudo apt-get install libvtk5.10-qt4 libvtk5.10 libvtk5-dev
sudo apt-get install libqhull* libgtest-dev
sudo apt-get install freeglut3-dev pkg-config
sudo apt-get install libxmu-dev libxi-dev
sudo apt-get install mono-complete
sudo apt-get install qt-sdk openjdk-8-jdk openjdk-8-jre

step2：下载源码
建议安装1.9.1

git clone https://github.com/PointCloudLibrary/pcl.git

step3：编译源码

cd pcl-pcl-1.9.1
mkdir release
cd release
cmake -DCMAKE_BUILD_TYPE=None -DCMAKE_INSTALL_PREFIX=/usr \ -DBUILD_GPU=ON-DBUILD_apps=ON -DBUILD_examples=ON \ -DCMAKE_INSTALL_PREFIX=/usr ..

make

step4：安装

sudo make install

step5：PCLVisualizer(需要可以安装)

sudo apt-get install libopenni-dev
sudo apt-get install libopenni2-dev

3.1.2 安装依赖——Eigen 安装

简单命令安装

sudo apt-get install libeigen3-dev

3.1.3 安装依赖——Ceres-solver 安装

下载ceres-solver-1.14.0

git clone https://github.com/ceres-solver/ceres-solver

依赖安装

 sudo apt-get install cmake
 sudo apt-get install libgoogle-glog-dev
 sudo apt-get install libatlas-base-dev
 sudo apt-get install libeigen3-dev
 sudo apt-get install libsuitesparse-dev
 sudo add-apt-repository ppa:bzindovic/suitesparse-bugfix-1319687
 sudo apt-get update
 sudo apt-get install libsuitesparse-dev

安装 ceres-solver

tar zxf ceres-solver-1.14.0.tar.gz
mkdir ceres-bin && cd ceres-bin
cmake ../ceres-solver-1.14.0
make -j3
make install

至此需要的库安装完毕

3.1.4 下载源码，编译准备

# 进入工作空间
cd ws_livox/src
git clone https://github.com/Livox-SDK/livox_camera_lidar_calibration.git 
cd ..    # 返回上一级目录
catkin_make
source devel/setup.bash
  • 此时工作空间的目录结构为：

在这里插入图片描述

3.1.5 程序节点概括

此项目包括如下节点:

  1. cameraCalib - 标定相机内参
  2. pcdTransfer - 将雷达点云rosbag转换成PCD文件
  3. cornerPhoto -获得照片角点
  4. getExt1 - 计算外参节点１，只优化外参
  5. getExt2 - 计算外参节点２，同时优化内参和外参
  6. projectCloud - 把雷达点云投影到照片上 colorLidar - 雷达点云着色

以下程序节点中如果想修改launch文件，需要到src/calibration/launch文件夹中找对应的launch文件。

3.2 相机内参标定

3.2.1 前期准备

  • 准备一块有黑白棋盘格的标定板(如下所示，可以打印出来)

在这里插入图片描述

  • 笔者实际用的标定版规格是：

在这里插入图片描述

3.2.2 cameraCalib标定

  • 要准备20张以上的照片数据，各个角度和位置都要覆盖，拍摄的时候不要距离太近(3米左右)，如下图所示。

采集棋盘格图像：

方法1：直接使用HIKROBOT的上位机来抓取并保存图片

选择指定的保存路径

在这里插入图片描述
抓取图片
在这里插入图片描述

方法2：使用 ROS可视化工具rqt_image_view查看并保存图片

  • 终端1：启动相机的ROS驱动（以HIKROBOT为例）
# 进入工作空间
source devel/setup.bash  # 加载环境
# roslaunch [软件包] 启动文件.launch
roslaunch hk_camera hk_camera.launch
  • 终端2：保存好标定要用的图片
# 加载环境
source devel/setup.bash
# 打开相机画面
rqt_image_view

在这里插入图片描述

  • 说明： 笔者以下数据使用官网下载的数据集来测试：

测试数据下载：data.zip

在这里插入图片描述

  • 获得照片数据后，配置cameraCalib.launch中对应的路径和参数，默认是把照片数据放在data/camera/photos下，然后在data/camera/in.txt中写入所有需要使用的照片名称，如下图所示
    在这里插入图片描述

在这里插入图片描述
输入指令开始标定

#进入工作空间
cd ws_livox/
source devel/setup.bash
roslaunch camera_lidar_calibration cameraCalib.launch
  • 成功运行显示如下：

在这里插入图片描述

  • 标定结果中会保存在data/camera/result.txt中，包括重投影误差，内参矩阵和畸变纠正参数。

内参结果

  • 一个3x3的内参矩阵(IntrinsicMatrix)
  • ５个畸变纠正参数 k1, k2, p1, p2, k3
报错 （若无报错则跳过此步骤）

在这里插入图片描述

解决方法：

参考链接：
解决 cv_bridge 与 opencv4 版本冲突问题

  • 下载 cv_bridge

下载 noetic 版本的 cv_bridge。（noetic 版本的 cv_bridge 在 melodic 下也能使用，不过要做一些修改，后续会说明）
下载地址：https://github.com/ros-perception/vision_opencv/tree/noetic
下载完成后，将 cv_bridge 拷贝到 ros 工作空间的 src 文件夹下。
此时工作空间的目录结构为：
在这里插入图片描述
为了不影响原来的包，将该文件夹重命名为 cv_bridge_new，并且将cv_bridge_new文件夹下 CMakeLists.txt 文件中 project 名称修改为 cv_bridge_new：
在这里插入图片描述

  • 在 CMakeLists.txt 文件中指定我们自己的功能包中所用的 opencv4：
    在这里插入图片描述

  • 并且修改 package.xml 中包的名称：

在这里插入图片描述

  • 报错1：

在这里插入图片描述

  • 解决方法：

直接修改 cv_bridge_new的CMakeLists.txt 文件：

...
if(PYTHONLIBS_VERSION_STRING VERSION_LESS "3.8")
# Debian Buster
find_package(Boost REQUIRED python3)
...

在这里插入图片描述

  • 报错2：

在这里插入图片描述

  • 解决方法：

修改 cv_bridge_new/src/module.hpp 文件下 void* do_numpy_import()函数为 （注意*要删除）

static void do_numpy_import( )
{
    import_array( );
}

在这里插入图片描述

再次编译：

catkin_make

在这里插入图片描述
再次输入指令开始标定

#进入工作空间
cd ws_livox/
source devel/setup.bash
roslaunch camera_lidar_calibration cameraCalib.launch
摇曳的树
关注
  • 1
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
R3LIVE项目实战(3) —双目相机与激光雷达 lidar_camera_calib联合标定
几度春风里的博客
08-07 2271
lidar_camera_calib是一个在无目标环境中，用于高分辨率LiDAR（例如Livox）和摄像机之间准确的外部标定工具。我们的算法可以在室内和室外场景中运行，并且只需要场景中的边缘信息。如果场景适合，我们可以实现类似于或甚至超过基于目标的方法的像素级准确度。我们使用标定的外部参数给点云上色，并与实际图像进行比较。A和C是点云的局部放大视图。B和D是与A和C中的点云对应的摄像机图像的部分。
Ubuntu16（ROS_Kinetic)海康威视网络摄像机（单目）内参标定
qq_37534947的博客
05-06 5557
文章目录1.前提2.海康威视录像机的IP设置3.海康威视ROS驱动安装4.开始标定内参方法1：没有录制rosbag，直接标定方法2：录制rosbag，再标定5.RosBag的简单介绍1.简介2.常用命令 1.前提 安装好标定功能包：https://github.com/XidianLemon/calibration_camera_lidar， 详情参照博客： https://blog.csdn.net/qq_37534947/article/details/116195405?spm=1001.2014.
ubuntu18.04安装autoware1.12.0之相机和激光雷达的标定
qq_49959714的博客
08-08 3178
Ubuntu18.04安装autoware1.12.0、opencv，以及使用autoware进行相机和激光雷达的标定。
ubuntu18.04使用calibration_toolkit进行相机和三维激光雷达的联合标定
qq_49959714的博客
08-11 2738
超详细的标定教程，ubuntu18.04使用calibration_toolkit进行相机和三维激光雷达的联合标定，以及使用autoware进行相机内参标定，以及使用如何查看标定后效果教程。
ubuntu20.04进行相机内参标定
weixin_45273638的博客
05-17 980
参考链接：https://github.com/XidianLemon/calibration_camera_lidar/issues/7。参考：https://github.com/XidianLemon/calibration_camera_lidar/issues/28。参考：https://blog.csdn.net/yuteng12138/article/details/105204292。没有找到相关信息，考虑到后续还需要和激光雷达进行联合标定，使用autoawre进行标定。
海康工业相机内参标定
最新发布
CHNNNNNNNN的博客
07-11 346
安装好之后找到一块标定板，网上的教程多数是自己打印，但是我们组有标定板，剩下了打印标定板的工作。量好标定板的每个方格的尺寸，注意不是所有标定板都是正方形的，有可能有一些格子是长方形的，需要确定格子的两条边的长度。这个时候要不停的移动标定板，左右、上下、前后、绕三根轴一共六种动作，不停的做，知道四根线都变成绿色，具体原理不是很懂 ，总之晃就对了，这个过程会比较长，建议多做不同的动作，这个步骤需要两个人协作完成，一个人可能不行。以下是我的标定结果，如果有相机和镜头型号跟我一样，又懒得标定的，可以自取。
树莓派4B安装ubuntu18.04.4和ROS并测试激光雷达
01-06
树莓派4B安装ubuntu18.04.4和ROS并测试激光雷达 需要的硬件： 树莓派4B、8G以上的SD卡、树莓派的HDMI线、电源、网线、USB的鼠标和键盘 需要的软件工具： SD Card Formatter 、 Win32DiskImager、WNetWatcher、PuTTY...
激光雷达标定全开源版
02-02
激光雷达半自动外参数标定。 在Ubuntu16.04和18.04已测试。 全自动完全开源付费版本:https://download.csdn.net/download/hgz_gs/14980826 全自动校准原理： ...
ubuntu18.04gcc.zip
10-29
ubuntu18.04 离线安装gcc
ubuntu 18.04搭建python环境（pycharm+anaconda）
09-19
在Ubuntu 18.04上搭建Python开发环境是一个重要的步骤，尤其是对于那些正在学习或从事数据分析、机器学习以及Web开发的用户。本教程将详细讲解如何安装和配置Python环境，包括Anaconda和PyCharm。 **Anaconda的安装...
海康威视500万像素工业相机参数汇总
09-07
个人整理的海康威视工业视觉500万像素工业相机的相关参数，有需要的同学可以下载，省去你们额外查询的时间。
opencv+vs2013进行相机内参标定（camera calibration）
08-20
opencv+vs2013进行相机内参标定（camera calibration），代码中有一两处需要修改下参数，比如输入图片的大小不同需要修改下
openssh-server -Ubuntu18.04远程服务离线安装包
05-07
sudo dpkg -i openssh-client_1%3a7.6p1-4ubuntu0.6_amd64.deb sudo dpkg -i ncurses-term_6.1-1ubuntu1.18.04_all.deb sudo dpkg -i openssh-sftp-server_1%3a7.6p1-4ubuntu0.6_amd64.deb sudo dpkg -i openssh-...
激光雷达-相机联合标定- Calibration Tool Kit（Autoware）
qq_43574097的博客
11-13 324
二、安装Calibration Tool Kit。我安装的时候好像还报错然后更新了啥，忘了。系统：ubuntu18.04。ros版本：medolic。
相机-激光雷达联合标定方法
qq_21751281的博客
02-08 2098
这篇博客是记录一下自己遇到的问题。
相机和激光雷达的联合标定方法
auto driving
02-14 6624
目录： 1、ros的安装 1.1 配置Ubuntu软件仓库 1.2 设置sources.list 1.3 设置密钥 1.4 安装 1.5 设置环境 1.6 初始化rosdep 1.7 安装依赖 2、autoware标定工具的安装 2.1 安装nlopt 2.2 安装标定工具箱 2.3 编译报错：//home/hyellice/anaconda3/lib/libfontconfig.so.1：对‘FT_Done_MM_Var’未定义的引用 2.4 运行rosrun calibrati
大疆激光雷达livox avia 在ubuntu18.04+ROS中基本使用方法
LSG_Dawn的博客
09-24 3950
Readme大疆livox avia 固态激光雷达操作步骤： 1.参考本人CSDN博客lsg_dawn中收藏中的一篇关于ubuntu18.04中使用livox avia 雷达的文章2.连接好雷达和电脑的连线3.关于虚拟机中的网络配置： (1)虚拟机工具栏中，找到 虚拟机——>设置——>网络适配器——>桥接模式（复制物理网络连接 状态）（2）重启虚拟机 (3)虚拟机界面右上角的网络配置，设置为手动 IP：192.168.1.2 子网掩码：255.255.255.0 (livox a
【环境配置】ROS GAZEBO相机雷达联合标定
RockWang的博客
11-19 2918
rock@hero:~$ rosrun camera_calibration cameracalibrator.py --size 7x6 --square 0.01 image:=/kinect/rgb/image_raw camera:=/kinect Waiting for service /kinect/set_camera_info ... OK *** Added sample 1, p_x = 0.416, p_y = 0.287, p_size = 0.632, skew = 0.000
激光雷达和摄像头联合标定
linxiangup的博客
05-20 1289
1、安装 autoware 联合标定的ros包，针对ros melodic 需要改变CMakelists.txt里面带有版本模块的地方，加入melodic。 2、运用ros标定相机内参，但yml格式要改为如下符合autoware的格式 %YAML:1.0 --- CameraExtrinsicMat: !!opencv-matrix rows: 4 cols: 4 dt: d data: [ 1., 0., 0., 0., 0., 1., 0., 0., 0., 0., 1., 0.,0.,
ubuntu18.04下kinect2相机标定
10-13
在Ubuntu18.04下进行Kinect2相机标定，可以按照以下步骤进行： 1. 安装libfreenect2和OpenCV库 ``` sudo apt-get install build-essential libturbojpeg libjpeg-turbo8-dev libglfw3-dev libopenni2-dev git ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值