多模态路沿检测与滤波方法

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

文章：Multi-modal curb detection and filtering

作者：Sandipan Das , Navid Mahabadi , Saikat Chatterjee , Maurice Fallon

编译：点云PCL

来源：arXiv 2022

摘要

稳定可靠的道路路沿先验信息对于自动驾驶车辆导航是至关重要，本文提出了一种基于相机语义信息和稠密的激光雷达点云融合的鲁棒路沿检测和滤波技术。通过融合多个激光雷达获取的点云数据，以实现稳健的特征检测。摄像头语义信息是基于改进的EfficientNet架构，该架构使用从车载鱼眼摄像头获取的标记数据进行训练，在使用鱼眼模型投影到图像空间后，使用L2范数分析将点云与最近的路沿段相关联起来。然后，使用基于密度的无监督空间聚类对所选点云进行聚类，以检测不同的路沿区域，当在连续帧中检测到新路沿点时，它们将使用时间可达性约束与现有路沿簇相关联，如果未找到可达性约束，则从这些新点形成新的路沿群集，这确保了我们可以检测由多条车道组成的路段中存在的多个路沿，如果它们位于传感器的视野范围内。最后，将Delaunay滤波应用于离群点的去除，并将其性能与传统的基于RANSAC的滤波进行了比较。使用包含从商业地图供应商处获得的地面真实限制点的高精地图，对提出的解决方案进行客观评估，该系统已被证明能够在复杂的城市道路场景中检测任何方向的路沿，包括直线道路、曲线道路和与交通岛的交叉口。

主要贡献

稳健的环境感知是自动驾驶的一个基本方面，对道路安全和效率非常重要，并会影响路径规划、控制和定位等技术问题。高度动态的驾驶环境会给自动驾驶车辆带来严重的安全挑战。对象（静止或移动）以及道路构造可能会更改道路的几何图形，并影响定位和路径规划性能下降。路沿是界定道路边界，并为车辆导航提供有用信息；因此，准确地检测和跟踪它们非常重要。在过去几年中，已经提出了许多方法来使用单个传感器或传感器模式的组合来检测和提取路沿特征，大多数路缘检测系统使用激光雷达和相机，激光雷达传感器经常用于检测路沿特征，因为路沿本身具有几何特征，还提出了基于视觉的处理技术，由于激光雷达和视觉具有不同的故障模式，传感器融合近年来变得很流行，它利用了两种传感器的最佳特性-相机图像的语义信息和激光雷达的深度信息。

图1：顶部：数据采集车的路线，底部：使用提出的方法（蓝点）和商业地图供应商提供的地面真实路缘特征（绿点）检测路沿特征

本文的工作属于相机的语义信息与激光雷达深度的融合技术，在图1中展示了我们提出的方法的结果。具体贡献：

•  使用无监督DBSCAN聚类检测和关联多个路沿。

• 使用基于Delaunay的过滤方法去除异常值，与基于RANSAC的多项式拟合回归约束相比，该方法需要更少的参数调整。

主要内容

传感器的事先标定是传感器融合的基本前提，此外，我们用特征关联的融合技术的一个重要特征是：对激光雷达点云进行运动校正和变换，以便与可用相机帧的时间戳处记录的数据等效，这有助于所有传感器的数据都需要正确的时间同步。

图2：位于采集车辆周围的两个前激光雷达和四个摄像头的FoV示意图。然而，我们的实验只使用了两个前置摄像头，车辆基架B位于后轴的中心，激光雷达的传感器框架为LL和LR，分别代表左前和右前激光雷达。GNSS的IMU框架表示为I

A，传感器配置和参考帧

数据采集车由两个激光雷达和两个摄像头组成。传感器的参考坐标系和视野（FoV）如图2所示。车辆基架B位于车辆后轴的中心。激光雷达和摄像头的传感器读数在底架B中分别表示为LB k和CB k，其中k表示传感器在车辆中的位置。例如，LL和LR表示左前和右前激光雷达帧，来自GNSS的位姿信息在UTM在世界帧中发布，GNSS的IMU帧I如图2所示，所有传感器间转换都是使用之前的校准参数执行。

B、 激光雷达点云的语义关联

通过将投影后点云与分割后的相机图像语义信息相关联来提取激光雷达的语义特征，利用训练好的 Efficient-Net 模型进行图像分割。

1） 语义分割的 Efficient-Net ：自AlexNet赢得2012年ImageNet竞赛以来，卷积神经网络（ConvNet）已越来越多地被用作图像分割任务的标准，虽然更高的精度对于自动驾驶应用至关重要，但我们已经达到了使用ConvNets进行图像分割任务的硬件内存限制。因此，进一步提高精度需要更高的效率。EfficientNet的作者指出，可以通过仔细平衡网络深度、宽度和分辨率来实现模型缩放，从而在固定的计算资源量下获得更好的性能。在此基础上，我们使用了一种改进的EfficientNet体系结构进行语义分割。

表一：EfficientNet-B0基线网络架构

EfficientNet架构如表I所示，为了将网络输出采样到其原始输入分辨率，解码器架构中使用了双线性插值，为了实现稳健性，我们在多种场景（城市驾驶、雪地条件、郊区）上训练了EfficientNet模型，总体训练准确率79.10%，平均IoU为0.495，对于路沿等级，精度为67.20%，IoU为0.557，样本帧上的分割结果可以在图3a中可视化。

图3：与激光雷达点云的语义关联图示

2） 路沿语义与激光雷达深度的关联：安装在我们平台上的摄像头有鱼眼镜头，因此，我们通过在图像空间中对融合的lidar点进行鱼眼投影来提取路沿点，并在±3像素的范围内选择更靠近路缘像素的点云，最后，将路沿点重新投影回基架B坐标系下，图3显示了从语义关联中提取路沿的结果。

C、 无监督聚类和滤波

由于各种原因，例如日志的同步质量、校准参数或相机投影模型，点云关联技术可能会给我们带来噪声点云，为了去除异常值，可以根据路沿的几何结构进行过滤，然而，由于我们事先不知道路沿的预定义数量，因此很难对提取的路沿点应用多项式拟合，为了克服这个问题，我们首先找到一组无监督聚类，并根据空间密度将新检测到的路沿点关联到相关聚类中。

1） 迭代聚类关联：我们迭代选择提取的路沿点云，并应用无监督的空间聚类，簇的边界点是距离簇质心最远的点，如果新簇中边界点的L2范数小于旧簇边界点的预定义阈值，则合并簇，此操作有助于识别路沿段的数量。图4显示了我们使用DBSCAN进行聚类的结果。

图4：使用DBSCAN随机颜色的迭代特征点聚类表示检测到的不同聚类结果

2） Delaunay滤波：

Delaunay四面体的Voronoi子图是通过从计算的中心过滤大半径的外接球体来计算的，这将删除点体积外的四面体并删除异常值，Voronoi子图中连接起点和终点的最短欧氏路径为我们提供了中轴，靠近中轴的点为我们提供了与路沿相对应的滤波点云，该过程的图示如图5所示

图5：使用Delaunay滤波的路沿点云

实验

A、 数据集

我们从Scania州一个装有两个激光雷达和两个前置摄像头的自动公交站台收集数据，路线长度为1.5公里，地面实况（GT）路沿特征由地图供应商提供，所有传感数据均采用PTP（精密时间协议）同步，并转换为ROSPAGS进行评估，我们通过手动选择相应的GT路沿点来评估生成的路路沿点，用于关联的点云选择工具是使用open3d开发的，由于手动关联是一个繁琐的过程，我们还提出了一种自动评估集群的机制，聚类算法在scikit learn软件包中离线评估。

B、 手动分段关联和评估

我们将地图供应商的GT点分段关联，为了评估效果，我们将多项式拟合到GT点，然后，我们从多项式中采样点，并将其与Delaunay过滤点和RANSAC过滤点关联，如图6所示，我们计算评估指标的规范化L2范数（基于所选点数）。

图6：通过应用RANSAC（蓝色点）和Delaunay滤波（红色点）提取路沿点

C、 自动分段关联和评估

为了自动评估生成的路沿点，我们测量每个簇段的 Chamfer 距离（CD）。Chamfer 距离的定义为

我们还评估了不同无监督聚类算法的效果，包括 Agglomerative Clustering , BIRCH , DBSCAN  和 OPTICS，表II中报告了我们评估的CD和检测到的过滤路沿点数量。

我们观察到，对于手动和自动分段关联，Delaunay过滤比基于RANSAC的通用过滤更接近GT点，因为Delaunay过滤的L2范数和CD低于RANSAC。我们还观察到，与RANSAC相比，Delaunay滤波选择的内部点较少。如图6所示，入口与GT点更接近。我们得出结论，基于密度的无监督分段聚类算法最适合基于计算的CD拟合任意数量的路沿。

总结

本文提出了一种基于三维Delaunay四面体的多模态路沿检测和建图算法，我们演示了使用我们的聚类方法检测任意数量的路沿，评估表明Delaunay滤波在抑制异常值去除方面优于传统的基于RANSAC的滤波方法，为了进一步扩展这项工作，我们将研究在不同噪声条件下中轴产生的不稳定性，我们还想将语义关联扩展到其他基础设施功能，如道路线、红绿灯、人行道，我们正努力通过在反畸变的图像上重新训练语义分割模型，在开源数据集上测试我们的解决方案。

好消息！

小白学视觉知识星球

开始面向外开放啦👇👇👇

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~