单相机与激光雷达融合彩色点云

彩色点云是对激光雷达点云的每个点赋予其对应的相机图像ＲＧＢ值的一种新型的点云数据，能够为三维目标检测提供更丰富的图像信息。

单相机与激光雷达进行融合的过程包括：相机－雷达联合标定、雷达－＞相机点云坐标变换、成像平面－＞图像坐标投影找到点云对应的像素、点云ＲＧＢ赋值，以及由相机坐标变换回雷达坐标，由此形成最终的彩色点云，如下如所示。

相机-雷达联合标定的方法众多，autoware等很多包里都提供了现成的方法，计算的是图中1的4×4坐标变换矩阵R|T，3×3的旋转矩阵R是:

加上3×1的平移向量就构成了坐标变换矩阵：

利用pcl库和opencv库函数可以完成上述所有变换，博主利用ROS实现了接收雷达与相机话题，并实时生成彩色点云显示的ROS包，Github Link：https://github.com/KevinJia1212/colored_pointcloud

启动相机雷达以及彩色点云节点后，可以在rviz中看到点云投影到图像，以及彩色点云在空间中的分布。