自动驾驶感知卷出新高度？从2D到3D，HeightLane在复杂地形中也能游刃有余！

导读：

HeightLane是一种先进的3D车道检测方法，通过预测基于多斜率假设的高度图，它克服了传统方法在复杂地形中的局限性。这种方法利用高度图和可变形注意力机制，有效地将2D图像特征转换为3D
BEV特征，提升了模型对车道线的空间识别和结构理解能力。©️【深蓝AI】编译

1. 问题概要

单目3D车道线检测作为自动驾驶技术的基础组成，负责从单张图像中准确估计车道线的三维坐标。尽管基于激光雷达的3D感知技术取得了显著进展，但是单目相机因其低成本、感知范围广泛，以及能够捕捉高分辨率纹理图像等关键优势，越来越受到研究者的青睐。而且，这些特性对于识别狭窄且细长的车道线至关重要，同时，深度学习在2D车道线检测方面的卓越表现也为3D检测技术的突破奠定了基础。

然而，由于2D图像缺乏深度信息，从单目图像中预测出准确的3D车道信息仍然是一个极具挑战性的任务。随着鸟瞰图（BEV）表示法的发展，3D车道线检测研究也迎来了新的发展机遇。为了克服深度信息缺失的问题，研究人员开始尝试对车道所在的地面进行更精细的建模。

图1中的三种表示方法分别为：

a）假设地面是平坦的，可以通过逆透视变换（IPM）将2D图像或特征转换为BEV特征；

b）将地面建模为具有两个自由度（2-DoF）的平面，例如通过俯仰和高度，这为LATR在transformer中的位置编码提供了更广泛的适用性；

c）本文方法预测了一个密集的高度图，用于将2D图像特征空间变换到一个预定义的BEV特征网格上。

而像PersFormer一类的方法，则能通过逆透视变换（IPM）将2D图像特征转换为BEV特征，从而实现3D车道线检测的空间变换，如图1(a) 所示。但需注意，地形环境复杂多变的现实世界中，这种方法仍然存在局限性，因为真实地面的坡度和高度变化会导致简单假设平面地面的模型产生偏差。

为了解决上述问题，LATR等模型采用了Transformer架构，并结合位置编码对地面信息进行编码，以提供更精准的空间上下文，如图1(b) 所示。尽管这种方法通过预测地面的俯仰角和高度提升了模型的自由度，但在处理复杂地形，特别是地形从平坦过渡到倾斜的区域时，依然面临错位的挑战。

2. 方法提出

为应对传统平面地面建模引发的错位问题，作者提出了HeightLane，一种新颖的地面建模方案，如图1©所示。

HeightLane在预定义的BEV网格上创建了多个高度图锚点，以适应多变的坡度条件。这些锚点反向投影至图像空间，采样前视图特征，从而使得模型能够精准预测出高度图。接着，为了精确对齐BEV网格像素与2D前视图特征，作者将预测的高度信息融合到BEV网格查询的位置编码之中。借助预测的高度图和先进的可变形注意力机制，HeightLane能够显式地将图像特征映射到BEV网格上，大幅减小图像与BEV特征之间的错位，确保了特征表示和处理的高准确性。HeightLane利用高度图进行精细地面建模，有效地将2D前视图特征转化为BEV特征，从而提升了3D车道线检测的准确度和鲁棒性。

3. 方法详解

图2展示了HeightLane的架构，它首先利用ResNet-50网络从RGB前视图像中提取特征，然后通过预定义的BEV网格和高度提取模块生成高度图。基于PersFormer的研究成果，作者开发了一种高度图引导的空间特征转换框架，不依赖于地面平坦的假设，有效提升了特征转换的效率和准确性，最终通过车道检测头输出3D车道线。

3.1 高度提取模块

1）高度预测

如图6所示，高度图以0.5米每像素的精度，详细描述了车辆周围区域的高度信息，涵盖了从车辆向前延伸和向两侧拓展的广阔范围，车辆所在位置被设定为基准高度。不同于先前仅从2D视角预测道路表面的方法，本研究首先建立了一个BEV网格，并在此基础上预测整个网格的高度图。这一过程涉及到从2D前视特征中提取并转换对应的BEV特征，确保了高度信息的精确获取和表现。

在生成高度图的过程中，首先要创建一个斜率为0的基准高度图锚点，这代表了一个所有高度值均为零的平面，用于确定BEV网格的3D坐标。再结合相机的内参矩阵和车辆坐标到相机坐标的变换矩阵，将这个基准高度图锚点投影回图像空间，以便采样对应的前视特征。这个过程涉及到根据斜率$\theta$和位置$x$计算出投影坐标。

$$\left(\begin{array}{c}{u}_{\theta }\\ v_{\theta }\\ d_{\theta }\end{array}\right)=K{T}_{v\to c}\left(\begin{array}{c}x\\ y\\ {\tilde{H}}_{\theta }^x\\ 1\end{array}\right)$$
$${\tilde{H}}_{\theta }^x=x\tan (\theta )$$

为了适应实际道路的斜率变化，作者采用多斜率高度锚点进行特征采样，而不是单一斜率。这样，算法可以从不同斜率的平面上采样特征，并将它们合并，形成综合的BEV高度特征。

$$F_{Height}[x，y:]=\text{concat}(F_{FV}(u^{}$$