LanguageMPC：将大模型作为自动驾驶的决策者（一）

最新推荐文章于 2024-07-15 15:20:24 发布
最新推荐文章于 2024-07-15 15:20:24 发布
阅读量539 收藏 1
点赞数 1
分类专栏： 自动驾驶轨迹规划算法 文章标签： 人工智能 自动驾驶 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65089713/article/details/137073787
版权

欢迎大家关注我的B站：

偷吃薯片的Zheng同学的个人空间-偷吃薯片的Zheng同学个人主页-哔哩哔哩视频 (bilibili.com)

目录

1.引入LLM的背景

2.文章架构

3.国内外研究现状

4.方法

1.引入LLM的背景

  • 基于学习的智驾系统需要复杂的rule或reward设计，一旦依赖预定义又会出现泛化能力弱的情况，对corner case 的效果不好，最终沦为一个需要不断改进的补丁系统。
  • 有限的数据集和采样效率会导致long-tail problem，corner case样本数量少将导致训练出来的策略并不是最优的
了解本专栏 订阅专栏 解锁全文 超级会员免费看
无意2121
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 2509
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
【论文阅读】LANGUAGEMPC: LARGE LANGUAGE MODELS AS DECISION MAKERS FOR AUTONOMOUS DRIVING
技术宅学长的博客
11-13 284
现有的基于学习的自动驾驶(AD)系统在理解高级信息、泛化到罕见事件以及提供可解释性方面面临挑战。为了解决这些问题，这项工作采用大型语言模型(llm)作为需要人类常识理解的复杂AD场景的决策组件。我们设计了认知途径来实现LLM的综合推理，并开发了将LLM决策转化为可操作的驾驶命令的算法。通过这种方法，LLM决策通过引导参数矩阵自适应与底层控制器无缝集成。大量的实验表明，由于LLM的常识推理能力，我们提出的方法不仅在单车辆任务中始终优于基线方法，而且还有助于处理复杂的驾驶行为，甚至多车辆协调。
[GPT读论文]LANGUAGEMPC: LARGE LANGUAGE MODELS AS DECISION MAKERS FOR AUTONOMOUS DRIVING
技术宅学长的博客
11-16 181
这篇论文的标题是《LanguageMPC: 使用大型语言模型作为自动驾驶决策制定者》，它提出了一种新的方法，使用大型语言模型（LLMs）作为自动驾驶（AD）系统中的决策制定组件，特别是在需要人类常识理解的复杂驾驶场景中【63†source】。
使用大语言模型生成自动驾驶指令代码可行吗？
AIGCer的博客
12-10 1232
大语言模型最近太火了，大家都在各个方向上应用它。自动驾驶也是当下一个热门领域，两个热门领域的结合自然非常令人期待。AIGCer在读了一些相关文献后，感觉在自动驾驶这个热点方向上应用大语言模型，也将是一个很有前途的方向。这里AIGCer分享一个基于大语言模型的自动驾驶规划任务新框架LaMPilot。它重新思考规划任务为一个利用已有的行为原语的代码生成过程。这种方法旨在解决解释和执行用户指令（如“overtake the car ahead”）的难题，这些指令通常会给现有框架带来困难。
都在搞端到端，试问端到端自动驾驶的基石到底是什么？（理想汽车最新综述）...
CV_Autobot的博客
02-20 877
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心【全栈算法】技术交流群论文作者| Haoxiang Gao编辑 | 自动驾驶之心写在前面&笔者的个人理解基础模型的出现彻底改变了自然语言处理和计算机视觉领域，为其在自动驾驶（AD）中的应用铺平了道路。这项调查对40多篇研究论文进行了全面回顾，展示了基础模型在增强AD中的作用。大型语言模...
油气行业人工智能大模型应用研究现状及展望
chengxuyuanyy的博客
07-13 667
在过去的几年中，人工智能技术已经从专门的应用和有限的能力迈进了一个全新的时代—通用人工智能（AGI）时代。这一跨越得益于大模型的发展，大模型逐渐成为推动新质生产力发展的关键动力。中国大模型产业正面临“百模大战”的局面，相较于美国，中国大模型产业的核心竞争力是“大模型+实体产业”。大模型的行业应用展现出巨大潜力，但技术路线也尚未成熟，落地应用面临诸多困难和挑战。油气行业大模型应用要保持理性，要充分认识油气行业大模型的特殊性，从数据、算力、算法等方面夯实基本功。
一直说端到端，那端到端自动驾驶的基石到底是什么
liuphahaha的专栏
06-03 241
深度学习（DL）与自动驾驶（AD）的融合标志着该领域的重大飞跃，吸引了学术界和工业界的关注。配备了摄像头和激光雷达的AD系统模拟了类似人类的决策过程。这些系统基本上由三个关键组成部分组成：感知、预测和规划。Perception利用DL和计算机视觉算法，专注于物体检测和跟踪。预测预测交通代理的行为及其与自动驾驶汽车的相互作用。规划通常是分层结构的，包括做出战略性驾驶决策、计算最佳轨迹和执行车辆控制命令。基础模型的出现，特别是在自然语言处理和计算机视觉领域，为AD研究引入了新的维度。
自动驾驶合集4
whaosoft143ai的博客
12-05 385
端到端自动驾驶是一种完全可微分的机器学习系统，它将原始传感器输入数据和其他元数据作为先验信息，并直接输出自车的控制信号或规划轨迹。本文试图系统地回顾最近所有基于机器学习的技术来实现这一端到端任务，包括但不限于目标检测、语义场景理解、目标跟踪、轨迹预测、轨迹规划、车辆控制、社会行为和通信。本文重点研究了最近的完全可微端到端强化学习和基于深度学习的技术。我们的论文还通过对重要方法进行分组并展示其研究趋势，建立了它们的分类法。最后，本次调查突出了悬而未决的挑战，并指出了未来可能的方向，以启发对该主题的进一步研究。
OpenSNN推文：近期优质博客推荐汇总
opensnn的博客
07-12 382
国内个人博客站点众多，涵盖了技术、生活、艺术等多个领域。
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
仙魁XAN
07-12 943
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 968
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
Open-TeleVision——通过VR沉浸式感受人形机器人视野：兼备远程控制和深度感知能力
结构之法 算法之道
07-12 1548
这篇论文的链接，我当时快速看了一遍，还是有价值的一个工作(其应该有受humanplus工作的其他)，一直想做下解读来着，无奈过去一周一直在弄mamba2的解读，所以没来得及弄。码器捕捉图像和本体感觉标记的关系，Transformer解码器输出特定块大小的动作序列。手腕的姿态流式传输到服务器。服务器将人类姿态重新定向到机器人，并将关节位置目标。如下图所示，便是TeleVision的远程操作数据收集和学习设置。7.3日，我司大模型机器人(具身智能)线下营群里的一学员发了《左：我们的远程操作系统。
人力资源人工智能依赖于良好的数据
yongyoudayee的博客
07-12 789
人力资源不断发展(HR)人工智能在技术领域(AI)它已经成为改变游戏规则的力量。人工智能驱动的工具有望简化人力资源流程，提高管理能力，彻底改变员工体验。然而，这些人工智能解决方案的有效性仅取决于算法的复杂性或计算硬件的能力。事实上，这种模式的很大一部分取决于一个基本的——良好的数据。
CV06_Canny边缘检测算法和python实现
https://github.com/foxpup11?tab=repositories
07-11 889
https://www.bilibili.com/video/BV1qU4y1U7aK/?spm_id_from=333.337.search-card.all.click&vd_source=7dace3632125a1ef7fd32c285eb2fbac
Gradio从入门到精通（1）---快速入门
最新发布
疯狂飙车的蜗牛的博客
07-15 909
Gradio 是一个开源 Python 包，允许您为机器学习模型、API 或任何任意 Python 函数快速构建演示或 Web 应用程序。然后，您可以使用 Gradio 的内置共享功能在几秒钟内共享指向演示或 Web 应用程序的链接。无需 JavaScript、CSS 或 Web 托管经验！Gradio最大的特点就是简单，便捷，短短几行代码就可以快速构建大模型web应用程序；当前很多人工智能模型的演示都是使用Gradio打造的；您会注意到，为了制作第一个演示，您创建了该类的实例。
sklearn基础教程：掌握机器学习入门的钥匙
AIGC绘图领域探索者，热衷于将创意与技术融合，致力于分享前沿AI绘图技巧与心得，让我们一起开启视觉艺术的新篇章。
07-13 920
是基于Python的一个开源机器学习库，它建立在NumPy、SciPy和matplotlib之上，提供了大量的算法和工具，用于数据挖掘和数据分析。无论是简单的线性回归，还是复杂的神经网络，sklearn都能提供直观易用的接口。作为Python中最为流行的机器学习库之一，以其简洁的API、丰富的算法和强大的功能赢得了广大用户的青睐。通过本文的介绍，相信你已经对sklearn有了初步的了解，并能够开始进行一些基础的机器学习任务。
LaneNet(1):网络结构详解
m0_51579041的博客
07-13 604
LaneNet(1):网络结构详解
华为910b推理Qwen1.5-72b
weixin_41549308的博客
07-12 674
910b部署推理大模型
让音乐倾诉，人工智能精心写歌词
haitunhaoma的博客
07-13 218
而歌词，则是音乐的灵魂伴侣，赋予旋律更深刻的意义和更强大的感染力。无论是欢快的节奏需要充满活力的表达，还是悲伤的旋律需要深情的倾诉，妙笔生词都能精准把握，用细腻且富有诗意的语言，为您的音乐搭建起一座与听众心灵相通的桥梁。“妙笔生词智能写歌词软件（veve299）”如同一位神奇的音乐魔法师，能够倾听您内心的声音，将您脑海中的旋律转化为饱含深情的歌词。让我们借助妙笔生词智能写歌词软件的力量，让音乐尽情倾诉，用人工智能精心谱写的歌词，传递那些无法言说的情感，触动每一个倾听者的心灵。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无意2121

创作不易，多多支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值