Sparse Laneformer 分享和思考

一、介绍

• Sparse Laneformer 是 AMD AEAI 发表的一篇自动驾驶领域车道线的论文，论文是基于 transformer 架构和新颖的稀疏 anchor 的新方案，兼具效率和精度。

• 2D 车道线检测是辅助驾驶中重要的感知模块，用于感知车道线的信息，为智驾系统提供重要的环境感知信息。传统的 2D 车道线检测方案可以粗分为 1）segmentation-based 的方法，2）parameter-based 的方法和 3）anchor-based 的方法，其中anchor-based 的方法一般精度高速度快，但其一个特点需要设计比较稠密合理的 anchor，一般有几种常见的 anchor设计方法：1）从图片底边发射anchor，2）从消失点发射 anchor，3）基于行的 anchor等方法。anchor-based 方法通常需要分析数据集车道线分布来调整anchor设计来获取高精度。

• 文章基于 transformer-based 设计一种可学习的稀疏anchor 来解决anchor-based 存在的问题，其包括稠密anchor 和数据集依赖问题。基于 transformer 设计一个新颖的高效的车道线检测方法。

• 

二、方法介绍

• 车道线表示方法：通过固定点数（x，y）如72点来描述车道线，所有车道线线的 y 都是 0-71 /72，所以只需要通过72个 x 值即可以描述一条车道线。

• Sparse anchor 设计：通过预设 k（20） 个 anchor，每个 anchor 由一对 lane query 和 angle query 组成，如图 Fig 2，k 个 anchor 初始化为均匀的垂线，通过 angle query 预测 angle 来调整 anchor 设计，同时 lane query 预测 lane 相对对应 anchor的偏移量，最终达到精确预测车道线的目标。车道线 GT 通过 label assign 策略来匹配对应合适的（附近的）anchor 完成模型整体的优化。

• 方法的整体架构：2 阶段方案，第二阶段基于第一阶段的结果 refine 预测
• 

• 核心模块：要完成 query 和 feature 的交互，传统的 cross-attention 效率不高，文章设计了新的 cross-attention 模块，效率和精度均佳。

  • Horizontal Perceptual Attention (HPA)

  • 

  • Lane Perceptual Attention (LPA)

  • 

三、实验结果

• SOTA 方法对比：精度在 CULane 和 Tusimple 数据集取得 SOTA 效果，验证方法的有效性。

• 

• 

• 消融实验：证明了稀疏 anchor 和 two-stage 机制的有效性

• 

• 

• 四、一些思考

• 完成 transformer-based 方法，并取得不错的效果，工作量确实较大而难得。

• Sparse anchor 设计很合理且有效，设计的 cross-attention 模块也很有效果。

• 可惜一点的精度并没有相对 CNN 的 anchor-based 方法有明显提升。