veloview读二维雷达数据_无人驾驶传感器融合系列（十）—— 目标追踪之相机与激光雷达数据融合...

无人驾驶传感器融合系列(十)—— 目标追踪之相机与激光雷达数据融合

本章摘要：前几章讲了单独相机实现目标追踪，这一章讲解如何实现相机和激光雷达数据融合。整体思路是这样的，1、先是坐标对齐，将雷达坐标转换到相机坐标。2、然后将激光点往像平面投影，得到投影到像平面的点云。3、借助图像检测的框图(前面提到的YOLOv3检测)对点云实现过滤聚类。4、对聚类点后处理。

0、概述

前视相机得到下面的图片：

前视某一区域的雷达点云俯视图如下：

我们的目标就是综合相机图片，雷达点云数据，最终得到下面的多目标跟踪结果：

下面我们就来分析如何一步步达到这样的效果。

一、坐标对齐

相机坐标和激光雷达坐标位置不同，如果想把点云投影到图片上，需要对两坐标进行对其。将一个坐标和另一个坐标对齐，无非就是平移，旋转。

坐标平移：

下面通过二维坐标讲解下平移，将其转化到三维坐标道理是一样的。

上面可以看来，平移只是在相应的维度上加上平移量。但是为了将这种相加的形式改变为相乘的形式，这里使用了齐次坐标。齐次坐标只是在原来的维度上加一个维度，这样矩阵相加的形式就可以变成相乘的形式，这样所有的坐标变换(平移、缩放)都可以变成矩阵相乘的形式了。关于欧几里得空间、齐次坐标之间的转化如下：

</