LanguageMPC：将大模型作为自动驾驶的决策者（一）

最新推荐文章于 2024-07-26 13:24:37 发布
最新推荐文章于 2024-07-26 13:24:37 发布
阅读量605 收藏 1
点赞数 1
分类专栏： 自动驾驶轨迹规划算法 文章标签： 人工智能 自动驾驶 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65089713/article/details/137073787
版权

欢迎大家关注我的B站：

偷吃薯片的Zheng同学的个人空间-偷吃薯片的Zheng同学个人主页-哔哩哔哩视频 (bilibili.com)

目录

1.引入LLM的背景

2.文章架构

3.国内外研究现状

4.方法

1.引入LLM的背景

  • 基于学习的智驾系统需要复杂的rule或reward设计，一旦依赖预定义又会出现泛化能力弱的情况，对corner case 的效果不好，最终沦为一个需要不断改进的补丁系统。
  • 有限的数据集和采样效率会导致long-tail problem，corner case样本数量少将导致训练出来的策略并不是最优的
了解本专栏 订阅专栏 解锁全文 超级会员免费看
无意2121
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 2583
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
【论文阅读】LANGUAGEMPC: LARGE LANGUAGE MODELS AS DECISION MAKERS FOR AUTONOMOUS DRIVING
技术宅学长的博客
11-13 293
现有的基于学习的自动驾驶(AD)系统在理解高级信息、泛化到罕见事件以及提供可解释性方面面临挑战。为了解决这些问题，这项工作采用大型语言模型(llm)作为需要人类常识理解的复杂AD场景的决策组件。我们设计了认知途径来实现LLM的综合推理，并开发了将LLM决策转化为可操作的驾驶命令的算法。通过这种方法，LLM决策通过引导参数矩阵自适应与底层控制器无缝集成。大量的实验表明，由于LLM的常识推理能力，我们提出的方法不仅在单车辆任务中始终优于基线方法，而且还有助于处理复杂的驾驶行为，甚至多车辆协调。
使用大语言模型生成自动驾驶指令代码可行吗？
zhishi0000的博客
07-19 542
大语言模型最近太火了，大家都在各个方向上应用它。自动驾驶也是当下一个热门领域，两个热门领域的结合自然非常令人期待。AIGCer在读了一些相关文献后，感觉在自动驾驶这个热点方向上应用大语言模型，也将是一个很有前途的方向。这里AIGCer分享一个基于大语言模型的自动驾驶规划任务新框架LaMPilot。它重新思考规划任务为一个利用已有的行为原语的代码生成过程。这种方法旨在解决解释和执行用户指令（如“overtake the car ahead”）的难题，这些指令通常会给现有框架带来困难。
都在搞端到端，试问端到端自动驾驶的基石到底是什么？（理想汽车最新综述）...
CV_Autobot的博客
02-20 901
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心【全栈算法】技术交流群论文作者| Haoxiang Gao编辑 | 自动驾驶之心写在前面&笔者的个人理解基础模型的出现彻底改变了自然语言处理和计算机视觉领域，为其在自动驾驶（AD）中的应用铺平了道路。这项调查对40多篇研究论文进行了全面回顾，展示了基础模型在增强AD中的作用。大型语言模...
[GPT读论文]LANGUAGEMPC: LARGE LANGUAGE MODELS AS DECISION MAKERS FOR AUTONOMOUS DRIVING
技术宅学长的博客
11-16 184
这篇论文的标题是《LanguageMPC: 使用大型语言模型作为自动驾驶决策制定者》，它提出了一种新的方法，使用大型语言模型（LLMs）作为自动驾驶（AD）系统中的决策制定组件，特别是在需要人类常识理解的复杂驾驶场景中【63†source】。
油气行业人工智能大模型应用研究现状及展望
chengxuyuanyy的博客
07-13 692
在过去的几年中，人工智能技术已经从专门的应用和有限的能力迈进了一个全新的时代—通用人工智能（AGI）时代。这一跨越得益于大模型的发展，大模型逐渐成为推动新质生产力发展的关键动力。中国大模型产业正面临“百模大战”的局面，相较于美国，中国大模型产业的核心竞争力是“大模型+实体产业”。大模型的行业应用展现出巨大潜力，但技术路线也尚未成熟，落地应用面临诸多困难和挑战。油气行业大模型应用要保持理性，要充分认识油气行业大模型的特殊性，从数据、算力、算法等方面夯实基本功。
一直说端到端，那端到端自动驾驶的基石到底是什么
liuphahaha的专栏
06-03 248
深度学习（DL）与自动驾驶（AD）的融合标志着该领域的重大飞跃，吸引了学术界和工业界的关注。配备了摄像头和激光雷达的AD系统模拟了类似人类的决策过程。这些系统基本上由三个关键组成部分组成：感知、预测和规划。Perception利用DL和计算机视觉算法，专注于物体检测和跟踪。预测预测交通代理的行为及其与自动驾驶汽车的相互作用。规划通常是分层结构的，包括做出战略性驾驶决策、计算最佳轨迹和执行车辆控制命令。基础模型的出现，特别是在自然语言处理和计算机视觉领域，为AD研究引入了新的维度。
自动驾驶合集13
whaosoft143ai的博客
02-19 512
深度学习（DL）与自动驾驶（AD）的融合标志着该领域的重大飞跃，吸引了学术界和工业界的关注。配备了摄像头和激光雷达的AD系统模拟了类似人类的决策过程。这些系统基本上由三个关键组成部分组成：感知、预测和规划。Perception利用DL和计算机视觉算法，专注于物体检测和跟踪。预测预测交通代理的行为及其与自动驾驶汽车的相互作用。规划通常是分层结构的，包括做出战略性驾驶决策、计算最佳轨迹和执行车辆控制命令。基础模型的出现，特别是在自然语言处理和计算机视觉领域，为AD研究引入了新的维度。 whaosoft aiot
2024钉钉杯A题思路详解
最新发布
全栈川川
07-26 1087
2024钉钉杯思路
2024年7月16日~2024年7月22日周报
m0_53096519的博客
07-22 1286
本周完成论文初稿、5000小实验以及数据训练方式初了解。
随机数种子的作用
帆的博客
07-23 1258
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
常见的文心一言的指令
知码客
07-25 851
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
GPU算力：驱动现代计算的引擎
UnityBoy的博客
07-22 730
在当今的计算密集型应用中，GPU（图形处理单元）算力已成为推动科学计算、人工智能、数据分析等领域发展的关键因素。GPU最初设计用于处理复杂的图形和图像任务，但随着技术的进步，它们已经演变为通用并行计算的强有力工具。本文将探讨GPU算力的基本概念、重要性、应用场景以及如何充分利用GPU算力。
安装TensorRT各自小库版本问题
Ppandaer的博客
07-24 346
降版本：protobuf3.19，onnx 1.12。
AI智能技术驱动安全生产：智慧矿山视频智能监管新篇章
TSINGSEE青犀视频官方技术博客
07-26 543
当识别到有人员未按照要求穿戴安全帽、反光背心/工服时，将立即抓拍，并将告警信息上传到平台。
重塑生态体系 深挖应用场景 萤石诠释AI时代智慧生活新图景
07-25 995
从“1+4+N”自然进化到“2+5+N”产品生态体系，萤石十年来不断迭代、不断升级，为家居生活带来更智慧的交互、更丰富的场景，萤石的下一个十年值得期待。来自全国各地的萤石合作伙伴、行业从业者及相关媒体，共聚杭州，共同见证拥抱AI的萤石，将如何全新升级，AI加持下的智慧生活又有何不同。用户只需轻轻抬起手腕，即可实现对家中智能设备的远程操控，如智能门锁可视对讲、安全警报的查看以及智能场景的控制等，极大地提升了生活的便捷性与智能化水平。，确保了数据的安全性，为用户提供更快、更便捷、更安全的家庭存储新选择。
安卓手机部署大模型实战
奇舞周刊
07-25 516
本文作者系360奇舞团前端开发工程师前言自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷...
线性代数|机器学习-P26随机梯度下降
scar2016的博客
07-25 650
122121212。
【Week-G5】适用于图像翻译的pix2pix模型-Pytorch版本
qq_40724911的博客
07-24 641
本次主要学习Pix2Pix网络，常用于图像翻译，它的核心技术包括三点：（1）基于CGAN的损失函数：通过DropOut在生成模型中引入随机噪声z（2）基于U-Net的生成器：包含编码-解码结构，可以学习浅层到深层的特征（3）基于PatchGAN的判别器：输入图像被划分成块（Patch）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无意2121

创作不易，多多支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值