车道线检测十五问！

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转载自自动驾驶之心

最近很多小伙伴对车道线检测相关的内容表现出较大兴趣，也向我们提出了很多问题，为了方便大家学习，整理了普遍的十五个问题，主要是学术界和工业界最常遇到的问题，希望能够帮助到大家！

1.请问下，车道线检测中，道路上会有一些旧车道线影响新车道线怎么办？

答：这种依赖模型不好解决，只能用车道后处理来解决了，可以尝试加一下跟踪或者看一下车道线分布规则来约束一下；

2.各位大佬，车道线在分流点，合流点会有几帧出错怎么办？

答：有加跟踪吗？或者针对合流和分流做一些逻辑稳定，比如检测到（或者计算得到）合流点，然后根据点的位置做一些稳定；

3.想问一下大家，在自动驾驶车辆当中，汽车空载和满载带来的对前视相机外参影响（主要是pitch角），进而会对车道线检测或者居中保持功能产生影响对吗？如果有影响的话是从标定的角度入手还是车道线检测的角度入手去解决呢？

答：可以测一下影响有多大，其实通过加一个消失点估计，也能校正pitch角；

4.请问各位大佬，车道线检测中，有的会做到自车中间会有一条中心线，这是怎么做的呢？

答：可以贴个图看看，我理解自车中间的中心线是和自车位置，两边主车道线相关的，可以通过它们拟合出来；

5.请问下车道线数据集Curvelanes没有车道线类别，自己的数据集有类别，请问下这两个数据集怎么一块用呢？

答：用自己的有类别的数据训练个分类模型对Curvelanes打个类别伪标签也可以，再用一些半监督的策略，一起用。或者先不关心类别，先用两个数据集训练一个不带类别输出的模型，然后再用自己数据集微调出一个带类别的模型；

6.有没有谁做过车道线跟踪，都找不到相关论文，现在一般都用什么方法做？

答：如果定位信息准的话，多帧的车道线可以在世界坐标系下完全重合，利用这个原理去匹配当前帧和前些帧就能很好的做到跟踪了，然后做滤波，跟踪匹配预测；

7.大佬们，车道线语义分割对于遮挡情况都是怎么解决的?

答：可以考虑长短焦多相机融合；加数据，通过GAN等方法制造一些遮挡数据。

8.您好，我利用图像检测出车道线，然后提取出像素点，想问下，这些像素点转换到激光雷达坐标系有什么好的方法嘛，（因为最终想转换到地图坐标系）？是单目相机，没有深度信息。我使用了相机激光雷达标定参数，转换出的结果如下，不太对，有没有什么解决方法嘛？

答：因为单目相机到三维空间的转换本身就存在一对多的关系，因此需要用激光雷达对含有车道的环境进行扫描，车道点投影到图像平面，建立一一对应关系，然后根据图片上车道线点找到其对应的激光点云位置，即为三维空间下的车道线位置；像素坐标转为3d坐标肯定是需要深度信息的，既然你没有深度信息，那么肯定是不行的。但是如果你有相机内外参数，倒是可以尝试通过IPM的方式，将2d像素点投影到地面上，相对来说深度还是比较准确的，只是地面高度信息没了；

9.大佬们，想请教下下在算力低下的嵌入式设备中，检测车道线有哪些好用的网络呢？

答：ultra fast 系列 可以看看

10.各位大佬，我想请问一下，针对周视的车道线检测问题，对于非BEV方案 大家有没有比较好的方法呀？

答：车道线更关注前视，所以基本都是基于单目做的，在局部地图构建中可优先考虑BEV方案，否则还要拼接图像，或者结果，非常不优雅；如果一定要做，那就是单目车道线检测那几种了，基于anchor的落地方便，基于分割耗时可能大一些，需要后处理多一些。具体方法可以尝试一下；

11.请教一下大佬们，车道线检测结果的拟合及跟踪一般都是如何做的？多车道线情况下怎么拟合出多条曲线呢？

答：车道线检测的话，要获取车道线实例，有基于anchor的输出就是车道线实例，也有先二值分割再聚类的，或者关键点再聚类或者特殊解码算法的，跟踪的话我了解也不是很多，建议找找相关论文，有看到过倒是；

12.各位大佬，有没有车道线弯道和变道检测效果比较好的模型，用过UFLD和UFLDv2，感觉这个问题都没有大的改善

答：这个是之前一个开源项目及论文，可以参考：Rethinking Efficient Lane Detection via Curve Modeling

13.极端天气的车道线消失如何补偿呢，大家有没有什么好的方案？

答：视觉感知的话，如果不是连续帧出现车道线消失，可以考虑时序的融合，模型和后处理都可以。如果是连续帧，从功能上来说应该要进failsafe了。有激光雷达的话，好的激光雷达理论上可以直接从点云上提取车道线，车道线和地面的强度不一样，会比依赖视觉的影响小一些。

14.大佬们求教，如果想做车道线的分割和路面标识（左转右转直行箭头等）检测，有什么比较合适的数据增强方式嘛？

答：路面标志可以做一些目标框内的一些扰动，比如水平垂直flip，旋转等等，还有形变操作(仿射变换等)，只要增强出来看着合理都可用。

15.相机与高精地图的车道线融合目前有什么好的方案（工程上）？车道线的视觉检测结果已有！

答：1.视觉结果是相对车辆的位置，高精地图是绝对位置，将两个车道线匹配一下，之后应该可以使用卡尔曼滤波融合，结合位置信息得到最终结果，这个思路可以试试 2.我记得阿波罗里面应该有车道线感知和高精地图融合的内容，也可以参考下~

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~