ubuntu18.04安装opencalib手动标定并使用自己的数据

---

前言

多传感器融合的项目免不了外参标定过程，最近参与的项目时间也挺久了，尝试了不少标定算法，包括手动选点PNP求解、有对象的自动标定、无对象的自动标定和手动标定算法，最后还是回归到手动标定上。本文总结一下这个项目中用过的标定算法和效果，权当记录。

一、标定算法的分类

明确“标定”的定义：本文的“标定”特指“外参标定”，具体的是指激光雷达坐标系到相机坐标系的变换矩阵（有机器人相关经验的应该不难理解）。

目前我们在GitHub中使用过的开源标定算法主要分三类：有目标自动标定、无目标自动标定、手动标定，目标一般指标定板，有目标即需要采集的数据中包含标定板，无目标即不需要标定板，手动标定就是openCalib提供的手动对齐工具。

有目标自动标定基本上一搜一大把，因为项目用的是livox，所以有目标的自动标定使用的是Livox-SDK下的：
https://github.com/Livox-SDK/livox_camera_lidar_calibration.git
官方的比较麻烦，需要更换来更换去，有大神改了下代码，帮助我们方便使用：
https://github.com/Shelfcol/livox_camera_lidar_calibration_modified.git
当然也可以使用matlab提供的标定工具箱，只是与上面这两个相比，matlab还是麻烦些。

无目标的自动标定那一定是港大的 livox_camera_calib，标定内容就是一组图片对应一组pcd文件，需要环境中有较多连续深度点，最好是不要有树木。

以上的自动标定都比较随缘，但是大都可以提供一个不错的外参初始值，在此初始值之上进行手动微调，就是引入openCalib手动标定工具箱的作用了（！不是让你上来就手动标定，有初始外参再微调才是最方便的）

二、openCalib使用步骤

0.运行环境

Cmake
opencv 2.4
eigen 3
PCL 1.9
Pangolin

如果安装有ros，则cmake和eigen3就有了
opencv实测3.4.16可用，大部分开源算法和opencv3.4.16兼容性也比较好，建议安装
注意，ros自带opencv，安装新的opencv时建议共存，csdn里有不少文章介绍怎么共存
pangolin 安装0.8最新版本即可
pcl1.9 必须，ubuntu18的ros自带pcl1.8是不能编译的，所以也需要再共存一个pcl1.9版本，网上资源也足够了

1.下载源码并编译

我们只使用手动标定的，所以只编译manual_calib即可

mkdir calibration_ws
cd calibration_ws/
git clone https://github.com/PJLab-ADG/SensorsCalibration.git
cd SensorsCalibration/lidar2camera/manual_calib/
mkdir build
cd build/
cmake ..
make

2.设置参数

开始标定前需要设置相机内参和初始的外参
找到manual_calib/data/center_camera-intrinsic.json并编辑

红色框内是相机的内参矩阵，绿色框内是相机畸变参数。
项目用的是realsense相机，畸变参数全为0，所以绿框对我们而言没什么用，使用鱼眼相机的时候要注意这块，一般顺序就是k1，k2，p1，p2，如果要求五个那就是k1，k2，k3，p1，p2。
再设置初始外参
找到manual_calib/data/top_center_lidar-to-center_camera-extrinsic.json并编辑

将4*4的初始外参矩阵输入。一般而言，激光雷达（特指livox激光）的坐标系为上z前x的右手坐标系，相机的坐标系为前z右x的右手坐标系，所以在不知道初始外参时，可以用以下外参进行初始化：

0.0,   -1.0,    0.0,    0.0,
0.0,    0.0,   -1.0,    0.0,
1.0,    0.0,    0.0,    0.0,
0.0,    0.0,    0.0,    1.0

3.运行标定程序

学过c++应该知道，cpp文件编译之后生成一个可执行文件才是最后真正会用到的，openCalib也不例外，编译好的文件为

manua_calib/bin/run_lidar2camera

按照官方给的教程，运行该文件，并传入相应的数据和参数文件即可

cd ~./manual_calib/
./bin/run_lidar2camera \
data/0.png \
data/0.pcd \
data/center_camera-intrinsic.json \
data/top_center_lidar-to-center_camera-extrinsic.json

顺序是图片、点云、内参文件、外参文件
最好是写个bash文件将这些命令整理清楚，这样更换数据时也比较方便
运行效果：

intensity color可以让颜色修改为以强度显示，overlap filter可以率除掉被遮挡的激光点，顺便进行点云降噪，如图所示

step就是每次修改旋转角度和偏移量时的步长，point size可以根据习惯适当调大调小
然后就可以点左侧栏那一堆按键来将点云和图片对齐啦，过程和结果就比较吃感觉了。

等标定的差不多了，就关闭标定界面，运行程序的终端应该会有如下显示：

这个就是最后的标定结果了。

致谢

在此感谢港大、上海AILab和Livox官方的开源代码以及无私的开源精神。

---