基于KITTI数据集的无人驾驶感知与传感器融合实现—（0）—照猫画虎

学习前言

  最近自动驾驶蛮火的，我自己看这玩意也想弄弄，然后在百度AI Studio这个平台上看到了一个跟自动驾驶有关的项目，想依葫芦画瓢学一下，那边用的是百度的飞桨，我自己想尝试着用Tensorflow打出来，感兴趣的同学可以去看看，链接我挂下面了。

链接

链接: 基于KITTI数据集的无人驾驶感知与传感器融合实现.

项目介绍

  我总体看了一下项目，发现这个作者蛮NP的（反正我是这么觉得，哈哈哈）。项目用到了一个开源的数据集 KITTI.,国内的网不一定能进去，不过百度AI Studio这里面可以在作者的项目里下到这个数据集，当然提前是你得注册账号，我后面也会把数据集链接分享给大家。

  KITTI数据集具体是个啥我就不多介绍了，它其实就是一个跟自动驾驶有关的数据集，里面有很多车道线、行人、车、路况等图片，当然也有对应的标注文件。

  数据集就先聊到这，还是说一下项目吧，这个项目总共实现了四种功能：无人驾驶汽车感知模块中的目标检测跟踪、TTC碰撞检测、车道线检测、运动目标轨迹预测功能。其中作者重点介绍了前面三个：

• 3D目标检测及跟踪：通过比较从传统机器学习SVM分类器，到当下无人车主流的深度学习模型YOLOv3，并验证在KITTI数据集上目标检测的表现。(我不是很明白为什么是YOLO V3，到后面深入学习了看能不能弄明白)
• TTC碰撞检测：应用BRISK/ORB/HARRIS等角点检测器和描述器，赋予目标检测框语义信息，实现前后帧的特征点跟踪，并通过KITTI数据集提供的传感器标定参数,将点云数据投射到2D图像，融合赋予特征点深度信息，利用CAM模型计算ROI区域碰撞时间TTC。
• 车道线检测：基于传统视觉处理算法，从颜色空间和梯度空间提取车道线特征。（关于这个我可能想改进一下特征点的提取方式）

项目效果

  作者也对项目做了一下总结：

• 目标检测在KITTI数据集上mAP达到0.80以上。（这只是我个人想法，如果应用在实际场景可能mAP会比较低，感觉这个项目还有改进的余地。）
• TTC碰撞检测只针对车辆行驶方向上的ROI区域目标进行检测，单帧处理时间低于Lidar频率。
• 车道线检测能够适应白天阴影、弯道，并实现偏离中心检测。（这里作者并没有提到如果车道线被遮挡一部分后是不是还能再识别出来，我打算先自己复现一下，再看结果。）

逻辑框架图

   这个项目感觉也是一个大工程。

详细步骤

  其实作者给出了蛮详细的步骤，而我只是一个卑微的咸鱼，所以我只能慢慢的一步一步的来。