论文标题:
BLOS-BEV: Navigation Map Enhanced Lane Segmentation Network, Beyond Line of Sight
论文作者:
Hang Wu, Zhenghao Zhang, Siyuan Lin, Tong Qin, Jin Pan, Qiang Zhao, Chunjing Xu, Ming Yang
导读:
高效的环境感知自动驾驶至关重要。本文介绍了BLOS-BEV,它融合了导航地图和视觉特征,实现了200米范围的精确感知。在nuScenes和Argoverse数据集上的测试显示,BLOS-BEV显著提升了自动驾驶的感知和规划能力。©️【深蓝AI】编译
1. 背景介绍
鸟瞰图表示(Bird’s-eye-view, BEV)对于自动驾驶中的感知任务尤为重要。平衡BEV表示的准确性、效率和范围是非常困难的。现有的工作通常将感知范围限制在50米以内。扩展BEV表示的范围可以通过提供更全面的信息和反应时间,大大有利于下游任务,如拓扑推理、场景理解和规划。标准定义(SD)导航地图可以提供道路结构拓扑的轻量级表示,具有获取方便和维护成本低的特点。为了充分利用SD地图信息,作者将车载摄像头的近距离视觉信息与SD地图的视线外(BLOS)环境先验结合,以实现扩展的感知能力。
图1|BLOS-BEV架构©️【深蓝AI】编译
如图1所示,BLOS-BEV有效地整合了环视图像和SD地图的互补信息。通过融合视觉信息和几何先验,BLOS-BEV生成的BEV语义分割远远超出了之前方法的范围,实现了对自动驾驶至关重要的扩展范围场景解析。
2. 方法提出
在本文中,作者提出了BLOS-BEV,这是一种新的BEV分割模型,结合了SD地图,用于高达200米的精确视线外感知。本方法适用于常见的BEV架构,通过整合从SD地图中获得的信息可以取得优异的效果。作者探索了各种特征融合方案,以便于有效地整合视觉BEV表示和SD地图的语义特征,旨在最佳地利用这两种信息源的互补信息。多次实验证明,本方法在nuScenes和Argoverse基准上的BEV分割表现达到了最先进的水平。通过多模态输入,BEV分割在50米以内的近距离显著增强,同时在50-200米的长距离场景中也表现出色,超过其他方法20%以上的mIoU。
图2|BLOS-BEV模型的流程©️【深蓝AI】编译
如图2所示,该pipeline以来自自我车辆的环视摄像机图像与栅格化SD地图作为输入。SD地图提供了关键的道路拓扑结构。BLOS-BEV通过BEV融合模块有效地融合了视觉特征和地图编码。通过整合图像和地图的互补信息,BLOS-BEV生成的超视距BEV分割大大超出了之前方法的范围。
3. 方法介绍
作者提出的BLOS-BEV框架由四个主要组件组成:BEV主干网络、SD地图编码器、BEV融合模块和BEV解码器。该架构通过协同整合互补的输入模式,实现了增强的感知范围和规划前瞻性。
3.1 BEV主干网络
采用Lift-Splat-Shoot(LSS)作为BEV特征提取的基线,因为它具有轻量、高效和易于插入的特点。其他BEV架构(例如HDMapNet)也可以在本框架内进行适应。LSS学习了每个像素的深度分布,并使用相机参数将视锥转换为BEV表示。六个方向(前、前左、前右、后、后左、后右)的车载摄像头为模型提供了全面的视觉输入,以实现全面的情境感知。视图转换的输出是视觉BEV特征 F v ∈ R H × W × C F_v∈R^{H×W×C} Fv∈RH×W×C,其中 H × W H×W H×W和 C C C是BEV表示的分辨率和嵌入维度。随后,作者采用一个四阶段的FPN作为BEV编码器,以进一步编码BEV特征,每个阶段将特征图的高度和宽度减半,同时将通道维度加倍。作者选择第二阶段特征 F v 2 ∈ R H 2 × W 2 × 2 C F_{v2} \in R^{\frac{H}{2} \times \frac{W}{2} \times 2C} Fv2∈R2H×2W×2C和第四阶段特征 F v 4 ∈ R H 8 × W 8 × 8 C F_{v_4}\in R^{\frac{H}{8} \times \frac{W}{8} \times 8C} Fv4∈R8H×8W×8C作为BEV融合模块的输入。
图3|原始和栅格化SD地图的对比©️【深蓝AI】编译
如图3所示,栅格化只保留了关键的道路布局,减少了杂乱,同时为BEV场景理解提供了必要的环境背景。这展示了作者的地图预处理和栅格化方法,生成清晰的拓扑表示作为SD地图编码器的输入。
3.2 SD地图编码器
SD地图编码器主要基于卷积神经网络(CNN)架构,输入为以自车辆位置为中心的SD地图。
· 地图数据:
利用OpenStreetMap(OSM),一个提供免费和可编辑地图的众包项目,提供先验的道路信息。OSM包含关于各种地理特征(如道路、交通标志、建筑区域等)的丰富信息。图3(a)展示了OSM的典型表示。
· 预处理:
为了简化SD地图数据并消除与最终任务无关的地图元素的影响,作者仅对OSM的道路骨架进行光栅化处理。这使SD地图编码器能够更准确地关注道路的拓扑结构。图3(b)展示了本方法中光栅化后的OSM。
· 编码:
借鉴OrienterNet的灵感,作者采用VGG 架构作为SD地图编码器的主干。这生成了一个空间编码的地图。
图4|在BLOS-BEV中探索的BEV特征和SD地图表示融合的替代技术。(a)BEV和地图编码的元素级加法;(b)沿通道维度连接BEV和地图特征,然后使用3×3卷积减少通道;(c) 交叉注意力机制,其中地图编码查询视觉BEV特征©️【深蓝AI】编译
3.3 BEV融合模块
BLOS-BEV的一个关键贡献是探索不同的融合方案,以结合视觉BEV特征和SD地图语义,达到最佳表示和性能。作者主要评估了三种常见的方法:加法、拼接和交叉注意机制。
由于BEV分支和SD地图分支都提供了不同大小的高分辨率和低分辨率特征,作者对来自两个分支相同大小的特征应用相同的融合操作,生成两种多模态融合特征 F f u s e h F^h_{fuse} Ffuseh和 F f u s e l F^l_{fuse} Ffusel,分别表示高分辨率和低分辨率。为了简化记号,作者使用 F v F_v Fv和 F s d F_{sd} Fsd分别表示高分辨率或低分辨率的BEV特征( F v 2 F_{v2} Fv2或 F v 4 F_{v4} Fv4)和SD地图特征( F s d 2 F_{sd2} Fsd2或 F s d 4 F_{sd4} Fsd4)。同样地,将 F f u s e h F^h_{fuse} Ffuseh和 F f u s e l F^l_{fuse} Ffusel统称为 F f u s e F_{fuse} Ffuse。
· 逐元素相加:
由于视觉BEV特征Fv和SD地图特征 F s d F_{sd} Fsd具有相同的形状,作者通过逐元素相加来融合它们(见图4(a))。融合特征 F f u s e F_{fuse} Ffuse的计算公式如下:
F f u s e = F v + F s d F_{fuse}=F_v+F_{sd} Ffuse=Fv+Fsd
· 按通道拼接:
作者还探索了在通道维度上拼接BEV和地图表示,使用两个3×3卷积层来整合拼接后的特征并减少通道数(见图4(b))。通过拼接获得的融合特征 F f u s e F_{fuse} Ffuse的计算公式如下:
F f u s e = C o n v 3 × 3 ( C o n c a t ( F v , F s d ) ) F_{fuse}=Conv3×3(Concat(Fv,Fsd)) Ffuse=Conv3×3(Concat(Fv,Fsd))
· 交叉注意机制:
此外,作者采用交叉注意机制来融合SD地图特征和视觉BEV特征。交叉注意机制应用跨模态门控,选择性地强调每个空间位置上最相关的特征。具体来说,作者使用 F s d F_{sd} Fsd作为查询 Q , F v Q,F_v Q,Fv作为键K和值V(见图4(c))。作者设计这个的动机是, F s d F_{sd} Fsd编码了超出感知范围的先验信息,通过查询局部的视觉特征 F v F_v Fv,可以更好地推理视野外的道路结构。通过交叉注意获得的融合特征 F f u s e F_{fuse} Ffuse的计算公式如下:
F
f
u
s
e
=
A
t
t
n
B
l
o
c
k
(
F
s
d
,
F
v
,
F
v
)
F_{fuse}=AttnBlock(Fsd,Fv,Fv)
Ffuse=AttnBlock(Fsd,Fv,Fv)
A
t
t
n
B
l
o
c
k
(
Q
,
K
,
V
)
=
A
t
t
n
(
Q
W
i
Q
,
K
W
i
K
,
V
W
i
V
)
AttnBlock(Q,K,V)=Attn(QW^Q_i,KW^K_i,VW^V_i)
AttnBlock(Q,K,V)=Attn(QWiQ,KWiK,VWiV)
A
t
t
n
(
Q
,
K
,
V
)
=
s
o
f
t
m
a
x
(
Q
K
T
d
k
)
V
Attn(Q, K,V) = softmax(\frac{QK^T}{\sqrt{dk}})V
Attn(Q,K,V)=softmax(dkQKT)V
其中 W i Q , W i K , W i V W^Q_i,W^K_i,W^V_i WiQ,WiK,WiV是第 i i i层的Q、K和V的投影矩阵, d k d_k dk是特征Q和K的通道维度。
图5|nuScenes数据投影到对齐的SD地图坐标上,可视化局部区域:来自一个nuScenes序列的车道和道路段注释被转换并在SD地图上可视化©️【深蓝AI】编译
3.4 BEV解码器和训练损失
BEV解码器会接收高分辨率和低分辨率的融合特征 F f u s e h F^h_{fuse} Ffuseh和 F f u s e l F^l_{fuse} Ffusel。作者首先将 F f u s e l F^l_{fuse} Ffusel上采样4倍,使其特征高度和宽度与 F f u s e h F^h_{fuse} Ffuseh对齐。然后作者将其与 F f u s e h F^h_{fuse} Ffuseh沿通道维度拼接,接着进行两个卷积层和上采样,将它们解码为大小为 H × W × N H×W×N H×W×N的BEV分割图,其中N是语义类别数。
在训练阶段,作者对包含车道、道路、车道分界线和道路分界线的类别集合Ω使用二元交叉熵(BCE)损失:
L s e g = − 1 N ∑ c ∈ Ω y c log ( x c ) + ( 1 − y c ) log ( 1 − x c ) L_{seg} = -\frac{1}{N}\sum_{c\in\Omega} y_c\log(x_c) + (1-y_c)\log(1-x_c) Lseg=−N1c∈Ω∑yclog(xc)+(1−yc)log(1−xc)
其中 x c x_c xc和 y c y_c yc分别是像素级的语义预测和真实标签。
4. 实验结果
BLOS-BEV模型在nuScenes和Argoverse数据集上进行了实验,使用从OSM获取的SD地图数据进行补充。结果显示BLOS-BEV在所有距离范围内均优于现有方法,特别是在长距离范围(150~200m)表现突出。
作者探索了三种SD地图融合方法:加法、连接和交叉注意力。虽然所有融合方法都优于不使用SD地图的方法,但交叉注意力融合在nuScenes和Argoverse数据集上表现最佳,展示了出色的泛化性能。
考虑到GPS噪声的影响,实验还测试了位置噪声对分割性能的影响。结果表明,通过噪声增强训练可以有效提高模型的鲁棒性,其中交叉注意力融合方法展现出最强的抗噪能力。
具体实验结果如下:
表I|在nuScenes数据集上Beyond Line-Of-Sight分割的性能比较。作者将视距分为50米的间隔,覆盖四个主要道路结构元素,比较了本的方法(BLOS-BEV†采用HDMapNet方法,BLOS-BEV*采用LSS方法与拼接融合)与之前的SOTA方法©️【深蓝AI】编译
表II|在nuScenes数据集上各种融合方法的性能比较。作者在超视距设置下测试了各种融合方法的分割性能,同时保持相同的训练轮数©️【深蓝AI】编译
表IV|在nuScenes数据集上SD获取位置噪声的鲁棒性测试。考虑到GPS误差,作者在测试阶段对SD地图的获取位置应用了小于10m和10°的随机漂移。作者对所有SD融合方法进行了零偏移测试和偏移训练增强测试。©️【深蓝AI】编译
图6|BLOS-BEV与nuScenes数据集上其他方法的定性比较。第一列图像展示了车辆的周围视图、当前位置的SD地图、BEV分割真实标签以及BLOS-BEV模型的结果。为了比较,第二列展示了HDMapNet、CVT、LSS和PON这些缺乏SD地图先验信息的模型的输出结果©️【深蓝AI】编译
图7|BLOS-BEV在nuScenes数据集上的扩展范围BEV分割结果。BLOS-BEV在近距离和远距离都能准确标记语义特征,但在远距离的一些分割区域显示出轻微的模糊,用红色虚线圈标记©️【深蓝AI】编译
5. 未来展望
BLOS-BEV成功将鸟瞰图感知范围扩展至200米,显著提升了自动驾驶系统的安全性能和轨迹规划能力。这一突破使车辆能更早识别潜在风险,实现更平稳、安全的驾驶。未来研究将聚焦于高效整合SD地图与实时视觉数据的先进算法,探索扩散模型在BEV特征生成中的应用,以及优化多模态数据融合和计算效率。这些创新旨在进一步提高BLOS-BEV在复杂实际驾驶环境中的表现,推动自动驾驶技术向更安全、智能的方向发展。
编译|Deep蓝同学
审核|Los
移步公众号【深蓝AI】,第一时间获取自动驾驶、人工智能与机器人行业最新最前沿论文和科技动态👇
深蓝AI·赋能AI+智驾+机器人