使用Autoware标定工作箱calibration进行相机和三维激光雷达的联合标定

利用calibration标定工作箱实现相机和激光雷达的联合标定,记录详细的操作过程以及标定的一些小细节,以备后用。

系统:ubuntu16.04

硬件:华硕ASUS Xtion相机

            Velodyne 16线激光雷达

标定板:calibration工作包中有一张8*6的棋盘格图片,本文使用的是9*7的棋盘格格子边长12.5cm的硬纸板。

详细步骤如下:

1.数据包的记录

Autoware软件中提供了rosbag的功能,但我还是习惯用终端rosbag的方式记录数据。

1)首先将相机和激光雷达相对位置固定好,因为Velodyne16线激光雷达是横向360度的扫描,最好将相机位于激光雷达上部和下部,可以用其他架子固定。

2) 找好录取数据的地方,同时启动Velodyne三维激光雷达的节点,相机的节点,然后启动记录两个节点的数据。可以写成脚本的形式,三个脚本分别:run_laser.sh  run_camera.sh  run_record.sh 。

//run_laser
source /home/zbr/catkin_velodyne/devel/setup.bash
echo "run velodyne processing..."
roslaunch velodyne_pointclound VLP16_points.launch
sleep 1
wait
exit 0

//run_camera
echo "run ASUS_camera processing..."
roslaunch openni2_launch openni2.launch
sleep 1
wait
exit 0

//run_record
gnome-terminal -e 'bash -c "cd ~/bagfiles/;rosbag record -o cv_laser /camera/rgb/image_raw /velodyne_points /;seec bash"'

前两个脚本就是启动相应的驱动节点,第三个记录脚本先是进入到我存包的bagfiles文件中,然后记录图像和激光雷达两个节点的数据,并命名为cv_laser。记录过程中可以用RVIZ来查看图像信息和激光雷达数据是否正常。三维激光雷达数据量很大,通常录90多秒就接近3.3个G的包容量了。

注意:本文使用的不是单目相机,且rgb图像的分辨率不是很高,所以标定板距离设备的距离不要太远,使得标定板的面积尽量占的多一点,如果你使用的比较好的单目相机,可以分为近距离和远距离两种(3-7M)。在近远距离分别做五组动作,每个持续3-5秒,动作如下:

5个动作分别为:正向; 下俯; 上仰; 左偏; 右偏。既拿着标定板正向对着相机,下俯,上仰,左偏右偏对着相机,另外,上下左右偏的角度不宜太大,否者标定板的棋牌格可能占有很小的相对面积甚至不清楚,容易导致后面获取不到有效识别的标定板棋牌格数据帧。

(借鉴大佬)

2.启动Calibration标定工作箱

1)启动录用的工具包

rosbag play bagName.bag /velodyne_points:=/points_raw

这里将激光雷达的原始节点名称改为/points_raw,因为在标定功能包的mainwindow函数中,订阅的是/points_raw这个话题,所以需要修改名字,或者修改源码重新再编译一次。

启动之后待数据跑起来后,立马空格暂停。

2)开始标定

启动主节点

roscore

启动标定程序

rosrun calibration_camera_lidar calibration_toolkit

第一个弹出的框选择你相机图像的话题名称

第二个框选择Camera->Velodyne

最后会弹出一个大界面,分为了几个区域,首先找到下图的一排位置,这排参数是标定板的尺寸。前面两个是标定板每个棋格的长宽,单位为m,此处我的标定板棋格大小为12.5cm,修改为0.125*0.125。后面是标定板的棋盘规格,我的是9*7,具体情况根据自己的标定板对应修改。

如果你的Autoware是1.10以前的版本,直接启动Autoware即可,标定工具箱集成在sensing中,点击Calibration tool和上面的效果一样。

3)细节调整并标定

这部分应该是最重要的。

先调节点云界面,右上框的颜色,默认是黑色,点一下该框,按下B键,换成浅色调(便于观察)。

1.首先对着回放数据包的终端再按下空格继续回放,然后再暂停,观察标定界面是否有图像出现,正常应该是这个样子:

然后这个时候并没有看到点云,此时不要着急,关掉数字键盘,然后点这右上的点云框按2(缩小),应该就能看到初始的点云

这个时候说一下调节点云图的快捷键:

数字键和字母键盘都可以进行操作。

其中,。这两个分别是放大和缩小,鼠标的滚轮可以调节数字键控制的尺寸,可以先将滚轮上划,将数字键的移动尺寸缩小,有助于找到合适的点云。

2.调节出点云合适的角度,然后截取这一帧数据。

标定的时候,肯定包保证能够正面看到标定板的点云才好标定,所以需要通过上述的调节键将点云数据调好

例如调到上图的样子,好分辨,好标定的状态。然后点击右上角的Grab获取这一帧的数据。

如果点击Grab没有反应,说明没有识别到这一帧图像中的棋牌格,因此只有继续播放数据,然后又暂停,能看是否能获取有效的的数据帧。如上图,如果成功获取数据帧,就可以在右下框中进行标定,主要是标出标定板的位置,需要注意的是,主表放在不同的位置,会有不同的坐标系,最好使得坐标轴垂直标定板的朝外出来,还有就是竖直方向朝上,然后点击鼠标左键选取面积,右键是取消然后重新选取。

3.重复工作,直至bag包播放结束

标定一副之后,继续播放数据,然后看到合适的场面(标定板的位置比较好时候),暂停数据,然后标定,直到数据包跑完为止。

4)标定计算既验证

标定完之后点击右上角的“Calibrate”进行计算。计算完之后会在左边得到外参矩阵、重投影误差等参数(重投影误差越小越好)

然后点击右上角的“project”进行验证,会根据计算结果和激光雷达数据生成的图像对应位置,以红色散点表示,如果红色散点分布到标定板上,则说明正确,如果没有,就重新选点。

落在标定板上的就是正确标定,如果散点一半在一半不在或者不在的情况都是有问题的,然后对右下标定界面重新标定一下在后再计算验证。

弄完之后没有问题,就点击左上方的“Save”,将结果保存到合适位置,保存过程中下面两个弹窗都选“NO”

 

5) 标定结果显示

将我们标定的结果用上,将三维点云数据投影到图像上,此处借助Autoware自带的Calibration Publisher和Points Image节点能进行融合。如果是一体化的Autoware就在Calibration tool下面就有这两个节点选择,我使用的是标定工具单独出来的,因此要重新单独启动Autoware软件。在Autoware/Sensing/中打开Calibration Publisher,并将保存好的内外参文件读取进来,打开Autoware/Sensing下的Point Image节点,在Rviz中,Panels/Add New Panel内添加ImageViewerPlugin,填写Image Topic,本例为/camrea/rgb/image_raw,Point Topic,本例为/points_image,

 

得到如下融合图:

我得到的结果存在散点,可能是外参矩阵的参数有问题,之前用小觅相机出来没有这个问题,我试着修改下保存的yaml外参矩阵参数,如果有用后续会更出来。不过这个华硕的深度相机分辨率确实不高,效果很一般,有好的单目相机效果最佳。

7.13新加:通过多标定几次不同数据的对比,发现出现散点主要是因为标定板的角点对应不准确导致,标定板放置太久平面不够平整,导致标定过程中识别角点的时候不规范导致,我尝试选取很标准的识别角点图像就没有这个问题.效果如下:

标定的详细流程就是这些。

 

 

参考文献:

https://blog.csdn.net/AdamShan/article/details/81670732

©️2020 CSDN 皮肤主题: 鲸 设计师:meimeiellie 返回首页