A Two-step Method for Extrinsic Calibration between a Sparse 3Dand a Thermal Camera 笔记

一、Introduction
1、他人已经做过的工作：结构光传感器与热敏相机的融合；更高分辨率（32线以上）的3D/2Dlidar与热敏相机的融合。（本文中用的VLP-16线的，因为结构32线的3D点云的密度比VLP-16线的高二倍，更容易提取出共同的特征点）。本文用VLP-16与热敏相机的融合。
2、采用的方法：第一步，采用KITTI标定工具箱（ICP）获取VLP-16与视觉相机的转换矩阵；第二步，采用张氏标定法获取视觉与热敏相机的转化矩阵。

二、Literature Review
在与热敏相机的标定中最好在棋盘上采用非对称的圆孔（asymmetric circuclar holes)标定的外参精度更高。

三、Methodology
从雷达坐标系L转换到视觉相机坐标系C的转换矩阵为 ，类似如下

1、 3D Lidar与视觉相机的标定
使用KITTI标定工具箱进行，同时在不同位置与方位放置多个棋盘，这样只进行一个的扫描就能采集到所需要的数据。
工具箱的输出是 而非 ，故通过公式转换：

通过ICP算法计算出参数 ：首先将相机坐标系C下的点转换到雷达坐标系L下面记为 ；然后在L坐标系下找到距离 最近的点，记为 ，最后通过最小化误差平方的方法求取 的最优解。

而在棋盘 与相机之间的转换矩阵 和 可通过单应矩阵H进行计算出来（此时是知道相机内参K的）:

确保精度的几个技巧：
至少3个棋盘被使用进行标定，文中使用了6个；
距离相机3-5m远，棋盘使用7*9的格子；
棋盘应填充在整个空间，尤其上下左右四个方向；
棋盘放在不同方位与不同的位置，可以获得不同的矩阵H；
棋盘材料反射性不可以太强，不能有强光；
时间要同步；

2、视觉相机与热敏相机的标定
用张氏标定法进行。
技巧：
热敏相机距离棋盘需要近一点，因为视觉相机的视野更宽，焦距更长；
采用4*11的非对称的圆孔棋盘；
环境要严格控制，棋盘要与背景环境有足够的温差，有利于热敏相机；
采集40对图像进行对比，标定误差应小于1像素。

四、实验结果
构建彩色点云：
首先将激光雷达的点云数据投影到相机的二维图像上，然后在重投影回到三维点云上。
构建温度点云：
同上。公式类似如下,

以后可能会做一个集成色彩与温度的多机器人构图系统。

兼职代做各种算法设计： 淘宝店铺：【专业代做工科设计】https://m.tb.cn/h.ec9Xric?sm=71d228 点击链接，再选择浏览器咑閞；或復|制这段描述￥7DJfYYc8H7p￥后到淘寳 微信号：dida_daizuo