四. 点云着色（真彩点云）方案

前面内容：

一. 器件选型心得（系统设计）--1_goldqiu的博客-CSDN博客

一. 器件选型心得（系统设计）--2_goldqiu的博客-CSDN博客

二. 多传感器时间同步方案（时序闭环）--1

三. 多传感器标定方案（空间同步）--1_goldqiu的博客-CSDN博客

三. 多传感器标定方案（空间同步）--2

三. 多传感器标定方案（空间同步）--3

四. 点云着色（真彩点云）方案

在对多传感器进行了时间上的同步和空间上的标定后，尤其是雷达和相机的时空同步，要如何对这个同步效果进行验证呢？

一个比较好的方法就是给点云着色，也就是生成真彩点云。其原理就是利用雷达和相机的变换矩阵，将相机像素平面的点转换到三维空间中，其中和雷达点重合的点赋予RGB三通道颜色；也就是点云的信息除了X、Y、Z、intensity、timestamp，还多了R、G、B三个值；一些三维显示软件或工具能够显示这种带色彩信息的点云。这种带有色彩信息的点云被称为真彩点云，带有更多的信息，方便建模。甚至如果对图像进行了语义的分类，转换过去还能使点云带有语义信息；能够将语义信息和雷达点云带有的深度、强度信息结合起来，这样的多源信息融合也就更丰富。

同样，我们还能检测时空同步的精度和效果，如果没有同步好，那么点云颜色就会错位。

在上班的时候，我们做了用于测绘的实时真彩点云生成，如下：

香港大学火星实验室的r3live和FAST-LIVO框架都实现了实时生成真彩点云的效果，而且效果很不错：

https://github.com/hku-mars/r3live

https://github.com/hku-mars/FAST-LIVO

参考之前的博客：

goldqiu：二十二.香港大学火星实验室R3LIVE框架跑官方数据集

这里还分享一个真彩点云的开源项目：

https://github.com/kahowang/Livox_Color_View_And_Mpping

他的工作是：

Livox_Color_View：调用 camera lidar 的外参结果，进行实时单帧点云上色显示。

FastLio2_Color_Mapping：订阅FastLio2 输出的/Odometry信息,进行地图上色。

简单来说就是提供了一个简单的显示工具，方便来检验相机雷达时空同步的效果；单帧点云上色显示用来检验相机雷达外参标定的效果；地图上色显示用来检验相机雷达外参标定和时间同步的效果，但他用软同步的效果也不赖。

最后分享一个我们团队的工作：

其中:

​

这里其实就是将分类后的图像（分成三块，安全、一般安全、不安全区域）的点变换到雷达点上，使雷达点带有RGB信息，同时这个RGB也是带有一定的语义信息，或者说是通行性信息。

可以看到着色后的雷达点其实还是在yaw角上有一定的错位的，这说明没有标定好。（ps：这是我们去年的实验截图）