北航&清华AsyncDriver | LLM提升Transformer规划器的性能 ！

作者 | AI 驾驶员  编辑 | 智驾实验室

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『运动规划』技术交流群

本文只做学术分享，如有侵权，联系删文

尽管实时规划器在自动驾驶中表现出卓越的性能，但对大型语言模型（LLM）的深入探索为提高运动规划的解读性和可控性开辟了新途径。然而，基于LLM的规划器仍然面临重大挑战，包括资源消耗的提升和推理时间的延长，这对实际部署构成了重大障碍。

鉴于这些挑战，作者引入了.AsyncDriver，这是一个新的异步LLM增强的闭环框架，旨在利用LLM产生的与场景相关的指令特征来指导实时规划器做出精确可控的轨迹预测。

一方面，作者的方法突显了LLM在理解和推理矢量化场景数据及一系列路线指令方面的能力，证明了其对实时规划器的有效辅助。

另一方面，所提出的框架将LLM和实时规划器的推理过程解耦。通过利用它们推理频率的异步性，作者的方法成功降低了由LLM引入的计算成本，同时保持了可比的性能。

实验表明，在nuPlan的挑战性场景中，作者的方法在闭环评估性能上取得了优越表现。

1 Introduction

运动规划在自动驾驶中扮演着至关重要的角色，因其对车辆导航和安全产生直接影响而引起了广泛关注。一种特别值得注意的评估方法就是采用闭环仿真，这涉及到根据规划器预测的轨迹动态发展驾驶场景，从而需要模型展现出更强的预测准确性和偏差校正能力。

如图1(a)所示，当前的基于学习的实时运动规划框架，如Kendall等人（2019年），Li等人（2023年），Hallgarten等人（2023年），Renz等人（2022年），Scheel等人（2022年），Huang等人（2023年）通常使用矢量化地图信息作为输入，并采用解码器来预测轨迹。作为纯粹的数据驱动方法，它们特别容易受到长尾现象的影响，在罕见或未见过的场景中，它们的性能可能会显著下降（Chen等人，2022年）。此外，尽管存在一些基于规则的策略，但这些手动制定的规则被发现不足以捕捉所有潜在的复杂场景，导致驾驶策略倾向于两个极端：过度谨慎或过于激进。此外，基于学习和基于规则的规划框架都存在可控性低的问题，这引起了人们对这些系统在动态环境中的安全性和可靠性的担忧。

近期，包括GPT-4 Achiam等人（2023）和Llama2 Touvron等人（2023）在内的大型语言模型（LLM）在自动驾驶领域的潜力已被广泛探索。它们在大规模数据集上的广泛预训练为理解交通规则和场景奠定了坚实的基础。因此，基于LLM的规划器在场景分析、推理和人际交互方面表现出卓越的性能，为提高运动规划的解读性和可控性带来了新的前景，如周等人（2023）；杨等人（2023）；崔等人（2024）。然而，如图1(b)所示，这些模型经常遇到以下特定挑战：1) 场景信息通过语言描述，可能受到允许的输入标记长度的限制，这使得全面而准确地封装复杂的场景细节变得具有挑战性，如毛等人（2023）；沙等人（2023）；温等人（2023）；毛等人（2023）。2) 通过语言输出的预测意味着要么直接发出高级命令，然后将其转换为控制信号，可能导致不准确，要么通过语言输出轨迹点作为浮点数，这是LLM不擅长的任务，如徐等人（2023）；毛等人（2023）；Keysan等人（2023）。3) 现有的框架主要使用LLM作为核心决策实体。尽管这种策略在性能上有优势，但LLM固有的大量参数导致与实时规划器相比，推理速度明显下降，给其实际应用带来了重大障碍。

在本工作中，作者引入了AsyncDriver，这是一个新颖的异步大语言模型增强的闭环运动规划框架。如图1(c)所示，此方法对矢量化的场景信息和一系列路线指令的模态进行对齐，充分利用大语言模型在解释指令和理解复杂场景方面的强大能力。场景关联指令特征提取模块提取高级指令特征，然后通过作者提出的自适应注入块将其整合到实时规划器中，显著提高了预测准确性，并确保了更精细的轨迹控制。此外，作者的方法保留了实时规划器的架构，允许大语言模型与实时规划器的推理频率解耦。通过控制异步推理间隔，它显著提高了计算效率，并减轻了大语言模型引入的额外计算成本。此外，作者提出的自适应注入块具有广泛的应用性，确保了作者的框架可以无缝扩展到任何基于Transformer的实时规划器，突显了其通用性和潜在的广泛应用前景。

总结来说，作者的论文做出了以下贡献：

• 作者提出了AsyncDriver，这是一个新颖的异步大语言模型增强框架，其中大语言模型的推理频率可控，且可以从实时规划器的频率中解耦。在保持高性能的同时，它显著降低了计算成本。

• 作者引入了自适应注入块，它是模型无关的，并且可以轻松地将场景关联指令特征整合到任何基于Transformer的实时规划器中，增强了其在理解和遵循基于语言的路线指令序列方面的能力。

• 与现有方法相比，作者的方案在nuPlan的挑战性场景中展示了卓越的闭环评估性能。

2 Related Work

近年来，在计算机视觉领域，深度学习得到了迅速发展。卷积神经网络（CNNs）已成为视觉识别任务的主导模型，在图像分类、目标检测和语义分割等各种应用中取得了显著的成功。受到CNNs成功的启发，众多研究专注于探索和改进网络结构。在本节中，作者将回顾一些与作者的方法密切相关的工作。

Motion Planning For Autonomous Driving

经典的自动驾驶模块化 Pipeline 包括感知、预测和规划。在这个框架内，规划阶段利用感知的输出确定自动驾驶车辆的行为并制定未来的轨迹，随后由控制系统执行。这种模块化 Pipeline 架构已经在行业内被广泛采用，如在Apollo Baidu（2019）等框架中。与端到端方法Hu等人（2023，2022）不同，模块化架构通过定义各模块之间的数据接口，便于研究专注于单个任务。

自动驾驶规划器主要可以分为基于规则和基于学习的规划器。基于规则的规划器Treiber等人（2002），Kesting等人（2007），Dauner等人（2023），Fan等人（2018），Urmson等人（2008），Leonard等人（2008），Bacha等人（2008）依据一组预定义的规则来确定车辆的未来轨迹，包括保持安全跟车距离和维护交通信号的规定。IDM Treiber等人（2002）确保 ego 车与前方车辆保持最小的安全距离。它包含一个公式来计算适当的速度，该速度考虑了前方车辆的制动距离、后方车辆的停车距离以及必要的安全裕度。PDM Dauner等人（2023）通过选择得分最高的IDM Proposal 作为最终轨迹来扩展IDM。该模型在nuPlan Challenge 2023 Caesar等人（2021）的闭环评估中取得了最先进的性能。然而，基于规则的规划器通常难以有效处理复杂驾驶场景，这些场景超出了其预定义规则集的范围。

基于学习的规划器Kendall等人（2019），Li等人（2023），Hallgarten等人（2023），Renz等人（2022），Scheel等人（2022），Huang等人（2023）试图通过模仿学习或离线强化学习，从大规模驾驶数据集中模仿人类专家驾驶轨迹。然而，受限于数据集的广度和模型的复杂性，这些规划器在诸如路径信息理解、环境感知和决策制定等方面仍有很大的提升空间。

LLM For Autonomous Driving

大型语言模型（LLM）的快速进步是值得关注的。探讨了如何通过语言方式将场景信息——包括自车状态以及障碍物、行人和其他车辆的信息——整合到LLM中以辅助决策并生成决策及解释。由于上下文长度有限，这些方法遇到了限制，难以编码足够精确的信息以进行有效的决策和推理。为了解决这些限制，开发了多模态策略，例如DrivingWithLLM Chen等人[2023b]和DriveGPT4 Xu等人[2023]。这些方法将向量化或图像/视频模态与语言指令对齐，使驾驶场景得到更全面的解读。然而，这些方法使用语言表达控制指令，存在一定的局限性。DrivingWithLLM以语言表达输出高级命令，尽管这提高了问答（QA）互动性能，却牺牲了将复杂推理转化为精确车辆控制的忠实度。DriveGPT4通过语言表达航点，在开环性能上表现出色，但在闭环模拟中的评估尚缺。

此外，一些努力 Sha等人[2023]，Shao等人[2023]旨在进行闭环评估，通过在大型语言模型后连接低级控制器或回归器以实现精确的车辆控制。LMDrive Shao等人[2023]使用一系列连续的图像帧，辅以导航指令，实现闭环驾驶能力，但仍然需要在每个规划步骤中进行LLM的完整推理过程。LanguageMPC Sha等人[2023]使用LLM获取模型预测控制参数，以无训练的方式实现控制。此外，这些方法不可避免地需要在每个规划步骤中串行解码语言，或者至少进行LLM的完整推理，这在实时响应性方面存在挑战，限制了它们的实际部署和应用。

在作者的方法中，作者将重点从使用LLM直接输出语言转向扩展基于实时学习规划器。这一策略旨在增强现有基于学习规划器对环境的理解。此外，作者的框架允许LLM和实时规划器以解耦方式运行，在不同的推理速率下执行规划。这种策略有效地缓解了LLM的推理延迟，从而为现实世界的部署铺平了道路。

3 Data Generation

nuPlan Caesar等人[2021]数据集是首个大规模的自动驾驶规划基准，包含了总共1200小时真实世界四大城市（波士顿、匹兹堡、拉斯维加斯和新加坡）的人类驾驶数据。为了适应不同阶段的训练，作者开发了来自nuPlan _训练集_和_验证集_的预训练和微调数据集。具体来说，作者只选择了与14种官方挑战性Motional [2023]场景类型相对应的数据。

Pre-training Data Generation

为了增强LLM在自动驾驶背景下对指令的理解，作者设计了一个仅包含基于语言的问答数据集，这与LLM固有的模态相一致，以促进对指令语义更有效的吸收。预训练数据集包括两个部分：_Planning-QA_ 和 _Reasoning1K_。两个数据集的样本在附录材料中展示。

3.1.1 Planning-QA

该数据集是通过基于规则的方法构建的，从而便于数据集的可扩展性。它战略性地设计用于增强LLM对“航点-高级指令-控制”之间相互关系的理解。在这个框架中，航点构成了一组点阵，而高级指令由速度命令（包括_停止_、_加速_、_减速_、_保持速度_）和路由命令（包括_向左转_、_向右转_、_直行_）构建，控制方面主要涉及评估速度和加速度的值。Planning-QA包含了6种类型的问题，每种问题都专注于“航点-高级指令-控制”之间的转换。

3.1.2 Reasoning1K

包括由GPT-4生成的1,000条数据，不仅提供答案，它还进一步根据场景描述补充了推理和解释，并用于与Planning-QA混合训练。

Fine-tuning Data Generation

为了进一步实现多模态理解和对接，作者基于种场景构建了微调数据，每8秒捕捉一帧，编制了一个包含帧的训练集和一个包含帧的验证集，每个样本都结合了地图数据和语言提示来构建多模态信息。关键是，训练和验证数据集中的场景类型分布遵循整个nuPlan trainval数据集的分布。

对于提取的向量化的场景信息，类似于Huang等人（2023年）的做法，包括了以自我为中心的信息和过去20帧中20个周围代理的信息，以及以自我为中心的全局地图数据。对于那些无法获得完整的历史特征的代理，通过插值补充缺失的信息。关于地图数据，作者在预定半径内提取了三类几何信息：车道中心线、人行横道和道路车道。

LLM的提示由两部分组成：系统提示和一系列路线指令。在模板中，作者提出_

4 Methodology

在本工作中，作者引入了异步LLM增强的闭环框架AsyncDriver。

如图2所示，作者的方法主要包括两个部分：

1）场景关联指令特征提取模块，其中多模态输入，包括向量化的场景信息和一系列路由指令，通过对齐辅助模块进行对齐，便于提取高级指令特征；

2）自适应注入块，它接收前面的特征作为实时规划器的引导，以获得更精确和可控的轨迹预测。此外，由于作者框架的性质，LLM和实时规划器之间的推理频率可以通过异步间隔解耦和调节，显著提高了推理效率。

在本节中，作者介绍了场景关联指令特征提取模块（第4.1节），详细说明了自适应注入块的设计（第4.2节），讨论了异步推理的概念（第4.3节），并概述了所采用训练细节（第4.4节）。

Scene-Associated Instruction Feature Extraction Module

4.1.1 Multi-modal Input

在每次规划迭代中，从模拟环境中获取矢量化场景信息。类似于GameFormer Huang等人（2023）采用的方法，提取了自我和他者代理的历史轨迹和状态信息，以及全局地图数据。为实时规划器提供矢量化场景信息的方式相同。所有矢量数据都相对于自我位置。随后，通过矢量地图编码器（Vector Map Encoder）和地图 Adapter （Map Adapter）的处理，作者导出地图嵌入。这些地图嵌入连同语言嵌入一起，被送入Llama2-13B主干网络以获得最终的隐藏特征 。

4.1.2 Alignment Assistance Module

为了在保持对矢量化场景信息的细粒度理解的同时把握路由指令的本质，以增强提取与场景相关的高级指令特征，作者采用了对齐辅助模块来促进多模态输入的对齐。具体来说，作者确定了五个对自动驾驶过程至关重要的场景元素，用于多任务预测，通过五个独立的2层MLP预测头实现。对于当前车辆状态，作者执行回归来估计车辆沿X轴和Y轴的速度和加速度。对于地图信息，作者执行分类任务，以识别左右两侧相邻车道的存在，并评估与当前车道相关的交通灯的状态。此外，为了未来的导航策略，作者分类未来轨迹中是否需要变道，并识别未来的速度决策，包括选项“加速”、“减速”和“保持当前速度”。值得注意的是，对齐辅助模块只在训练阶段用于辅助多模态对齐，并不参与推理阶段。

Adaptive Injection Block

作者采用了黄等人（2023年）的解码器结构作为作者的基本解码层，通过将传统的基于 Transformer 的解码层进化为自适应注入块（Adaptive Injection Block），从而促进了场景关联指令特征的自适应整合。

具体来说，最后一个 Token 的隐藏特征通过特征 Adapter 进行投影，然后输入到自适应注入块中。

在自适应解码块中，实时规划器的基础解码架构被优雅地扩展，以确保每个层的 Query 不仅保留了原始场景信息内的注意力操作，而且与场景关联的指令特征进行跨注意力操作，从而将指令引导融入到预测过程中。之后，通过可学习的自适应门控对更新后的指令增强 Query 特征进行调制，该门控初始化为零，并重新整合到解码层的原始注意力输出中。第_l_个解码块的自适应注入过程可以表述如下：

其中是自适应门控的值，表示原始解码层中的 Query ，和分别表示特征的关键和值，表示第_l_个解码层的场景特征。

作者提出的自适应注入方法不仅保持了实时规划器中原解码层处理完整场景信息的能力，而且增强了规划器对一系列灵活的语言指令的理解和遵守。这一进步使得能够产生更精细和可控的预测。值得注意的是，由于作者的自适应注入块简单而有效的设计，它可以无缝地整合到任何基于 Transformer 的架构中，从而为作者的方法提供了灵活性，使其能够适应其他实时规划器框架。

Asynchronous Inference

作者的设计利用大型语言模型（LLM）指导实时规划器，通过一系列灵活组合的语言指令显著提高了其性能，同时不损害其结构完整性。这种方法促进了受控的异步推理，有效地解耦了LLM和实时规划器的推理频率，因此LLM不需要处理每一帧。在异步间隔期间，先前推导出的高级指令特征继续指导实时规划器的预测过程，这显著提高了推理效率并降低了由LLM引入的计算成本。值得注意的是，作者的框架容纳了一系列灵活组合的路线指令，能够提供长期的高级路线洞察。因此，即使在异步间隔中，先前的高级特征仍能提供有效的指导，增强LLM推理间隔期间的性能鲁棒性。

实验结果表明，当LLM的异步推理间隔延长时，作者的架构保持了近乎鲁棒的性能。通过控制LLM每3帧进行一次推理，可以实现推理时间减少近40%，而准确度损失仅为约1%，这证明了作者方法在准确度和推理速度之间找到最佳平衡的有效性。对于更全面的实验结果及其分析探索，请参考第5.2.2节。

Training Details

在预训练阶段，整个Reasoning1K数据集，以及从Planning-QA中随机选择的个样本，都被用来训练LoRA。这一过程使得LLM从通用大型语言模型转变为专门针对自动驾驶进行优化的模型。这种针对性的适应直接结果是，LLM在理解运动规划背景下指令的准确性方面变得更加熟练。

在微调阶段，由于保留了VectorMap编码器和解码器的架构，作者加载了在相同数据集上预训练的实时规划器的权重，以增强训练稳定性。微调阶段的总损失由对齐辅助损失和规划损失组成。对齐辅助损失分为五个部分：1) 对ego速度和加速度预测的损失，2) 对速度决策预测的交叉熵损失和3) 对交通灯状态预测的交叉熵损失，4) 对邻道存在预测的二进制交叉熵损失和5) 对变道预测的二进制交叉熵损失。完整的对齐辅助损失可以表示如下，其中和分别代表预测和真实值：

跟随Huang等人[2023]，规划损失包括两部分：1) 模式预测损失。邻域代理的种不同轨迹模式由高斯混合模型（GMM）表示。对于每种模式，在任何给定的时间戳，其特征由均值和协方差构成的高斯分布来描述。通过将最佳模式与真实值对齐并最小化负对数似然来识别并细化它。2) Ego轨迹预测损失。预测ego车辆的未来轨迹点并通过损失进行细化。因此，规划损失如下：

其中，，，分别表示在时间戳上对应最佳模式的预测均值、协方差、概率和位置，而表示时间戳上的真实位置。

总之，微调阶段的完整损失公式为：

5 Experiments

Experimental Setup

5.1.1 Evaluation Settings

根据2023年nuPlan挑战赛的设置[motional 2023]，作者选择了种官方挑战性场景类型进行训练和评估。然而，nuPlan Caesar等人[2021]包含了一个庞大的个场景集合。考虑到一方面，大多数简单场景无法有效评估规划器的关键性能；另一方面，数据量巨大导致了漫长的评估时间，作者精心选择了_Hard20_数据集。具体来说，作者从测试集中为每种类型随机挑选了个场景，并使用了PDM Dauner等人[2023]的规划器（这是nuPlan 2023挑战赛的冠军），每种类型保留了得分最低的个场景，形成了由总共个场景组成的_Hard20_作为作者的测试集。

5.1.2 Implementation Details

表1：在_Hard20_分割上的nuPlan闭环反应挑战评估。最佳结果用粗体突出显示，次佳结果则用下划线进行区分以便清晰。_得分_：平均最终得分。_可行驶_：可行驶区域合规性。_方向_：驾驶方向合规性。_舒适_：自身车辆舒适度。_进度_：沿专家路线的自身进度。_碰撞_：无自身责任的碰撞。_限制_：速度限制合规性。_TTC_：碰撞时间的界限内。

关于实施细节，所有实验都在闭环反应设置中进行，场景中的代理可以配备IDM Treiber等人[2002]的规划器，使其能够对自身车辆的操纵做出反应。模拟频率为，在每次迭代中，预测轨迹的时间范围为。作者遵循nuPlan挑战中提出的闭环指标，详细内容在补充材料中说明。对于模型设置，作者的AsyncDriver基于Llama2-13B Touvron等人[2023]构建，LoRA Hu等人[2021]配置为和。作者使用AdamW优化器，并采用学习率的预热衰减调度器。

主要结果

5.2.1 Hard20 Evaluation

如图表1所示，作者的方法AsyncDriver在_Hard20_上相较于现有规划器的性能最高，比GameFormer Huang et al. (2023)的得分提高了，大约分，甚至超过了当前的SOTA基于规则的规划器。为了公平比较，考虑到轨迹细化和对齐在闭环评估中的重大影响，作者将PDM Dauner et al. (2023)评分器适配到作者的AsyncDriver（表示为AsyncDriver*），这分别导致了比PDM-Hybrid Dauner et al. (2023)和PDM-Closed Dauner et al. (2023)提高了和，相当于大约和分，以及比基于学习的规划器GameFormer提高了（大约分）。从不同的角度来看，图表2展示了_Hard20_分割上每种个别场景类型的得分，以及与现有规划器的比较。很明显，作者的解决方案在大多数场景类型中都取得了卓越的结果。

表2：在_Hard20_分割上的nuPlan闭环反应挑战中，按场景类型评估的得分。最佳结果以粗体突出显示，而次佳结果则用下划线以清晰区分。类型-代表nuPlan挑战2023 Motional (2023)的种官方场景类型，具体细节在补充材料中提供。

定量结果表明，作者通过场景关联指令特征提取模块提取的高级特征有效地增强了实时规划器在闭环评估中的性能。此外，详细的指标得分显示，与GameFormer相比，作者的方法在可行驶区域性能上有显著提升，增加了分，这证明了作者模型在准确识别和导航可行的驾驶空间方面具有卓越的能力，归功于其先进的场景上下文理解能力。同样，与PDM相比，AsyncDriver*在碰撞时间（TTC）指标上表现出明显的优势，得分提高了，大约分，这表明该模型增强了预测准确性，这对于通过有效预测和减少潜在的碰撞场景来确保更安全的驾驶至关重要。

5.2.2 异步推理

作者认为，尤其是在广义高级指令方面，短时间内帧内表现出显著的相似性。因此，考虑到其在提取这些高级特征方面的作用，LLM不需要在每帧中参与推理过程，这可以显著提高推理速度。为了探索这一点，设计实验以区分LLM和实时规划器的推理频率，在每次LLM推理间隔期间，使用先前的指令特征来指导实时规划器的预测过程。如图3所示，随着LLM规划间隔的增加，作者方法的性能表现出显著的鲁棒性，这表明LLM能够提供长期的高级指令。作者观察到，即使间隔为帧，意味着在每个场景中只进行一次推理，它仍然比GameFormer高出分以上，而推理时间几乎达到了实时水平。随着推理间隔的增加，所需的推理时间急剧下降，而准确性几乎保持稳定。因此，通过采用密集训练与异步推理的策略，作者的方法在准确性和推理速度之间实现了最优平衡。

5.2.3 Instruction Following

图4：跟随人类指令的AsyncDriver可视化。浅蓝色线条表示 ego 车辆未来8秒的轨迹。它对比了在接收到传统路线指令与强制“停止”指令下ego的规划轨迹。

图4展示了作者的方法对不同路线指令的反应，证明了其在指令跟随方面的能力。图3(a)说明了在采用传统路线指令的场景下的预测结果。作者注意到，ego车辆稍微减速，这一操作反映了在转弯时减速的常识。然而，在开阔的道路条件下，ego车辆保持了相对较高的速度。相比之下，图3(b)描述了当“停止”作为路线指令的场景。值得注意的是，即使没有外部障碍物，ego车辆也能迅速对指令做出制动反应，在短短6秒内将速度从10.65m/s降低到1.06m/s。因此，显而易见，作者的AsyncDriver可以作为语言交互界面，提供精确解释和跟随人类指令以规避异常情况的能力。### 消融研究

在本节中，作者研究了AsyncDriver中各个组件的有效性。尝试在LLM之后集成一个简单的MLP作为预测头来进行规划任务，导致了闭环性能的显著下降。这表明，将简单的轨迹回归任务作为监督不能正确对齐多模态信息，使得难以利用LLM的内在知识和其在场景解释和推理中的潜力。随后，作者移除了MLP结构，转而使用实时规划器，并逐步添加了以下四个结构：(i)自适应注入块，(ii)对齐辅助模块，(iii)LoRA，以及(iv)预训练的LoRA。如表3所示，每个引入的模块都对提高性能起到了作用。值得注意的是，对齐辅助模块和预训练的LoRA权重分别带来了0.94和0.97的得分提升，贡献最为显著。

6 Conclusions

在本文中，作者介绍了AsyncDriver，这是一个新的异步的、基于LLM增强的自动驾驶闭环框架。通过将矢量化场景信息与一系列路由指令对齐以形成多模态特征，作者充分利用了LLM的场景推理能力，提取与场景相关的指令特征作为指导。

通过所提出的自适应注入块，作者实现了将一系列路由信息集成到任何基于Transformer的实时规划器中，增强了其理解和遵循语言指令的能力，并在nuPlan的挑战性场景中实现了卓越的闭环性能。

值得注意的是，由于作者方法的结构设计，它支持LLM与实时规划器之间的异步推理。实验表明，作者的方法显著提高了推理速度，而在准确性上的损失最小，减少了由LLM引入的计算成本。

参考

[1].Asynchronous Large Language Model Enhanced Planner for Autonomous Driving.

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵