阅读LINGO-1: Exploring Natural Language for Autonomous Driving

已于 2024-07-18 10:18:27 修改
阅读量253 收藏
点赞数
分类专栏： 自动驾驶大模型领域的论文精读笔记 文章标签： 自动驾驶 大型语言模型
于 2023-10-02 14:13:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eepii/article/details/133491762
版权

1 背景

wayve在9月14日公布了大语言模型和自动驾驶的结合模型LINGO-1，可以用自然语言解释自动驾驶的决策原因。
网页链接：https://wayve.ai/thinking/lingo-natural-language-autonomous-driving/
但是目前没有论文和开源代码。

2 Motivation

大型语言模型LLM在AI领域研究和应用越来越多。这促进了相关研究：
视觉语言模型VLM，vision-language model
图片分类image classification
文本图像检索text-to-image retrieval
视觉问题解答visual question answering

3 具体过程

LINGO-1能够和自动驾驶模型进行交互interacting with driving models through dialogue, where users can ask autonomous vehicles what they are doing and why
z

EEPI
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
51-58 CVPR 2024 Bosch博世出品 | VLP: Vision Language Planning for Autonomous Driving
AIgraphX
06-12 1028
视觉语言规划VLP模型使ADS具有模仿人类常识的能力，并参与安全运动规划的上下文推理。
cisq1-lingo-opasta:面食cisq1看
04-09
【标题】"cisq1-lingo-opasta: 面食cisq1看" 提到的"CISQ1"可能是指软件质量相关的标准或框架，而"Lingo"在这里可能是培训课程的名字，与语言学或者沟通技巧有关。"面食cisq1看"这部分可能是一个误解，因为"面食...
LINGO-1: 在自动驾驶中探索自然语言的作用
yorkhunter的博客
07-05 549
Wayve公司的自动驾驶模型 “LINGO-1: Exploring Natural Language for Autonomous Driving“。
LLM4Drive: A Survey of Large Language Models for Autonomous Driving
weixin_46254816的博客
01-23 1428
自动驾驶技术是交通和城市交通革命的催化剂，它有从基于规则的系统过渡到数据驱动战略的趋势。传统的基于模块的系统受到级联模块间累积误差和预设规则不灵活的限制。相比之下，端到端自动驾驶系统由于其完全数据驱动的训练过程，有可能避免错误积累，尽管由于其“黑匣子”性质，它们往往缺乏透明度，使决策的验证和可追溯性变得复杂。最近，大型语言模型（LLM）已经展示了理解上下文、逻辑推理和生成答案的能力。一个自然的想法是利用这些能力来实现自动驾驶。
论文阅读： DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models
m0_48100146的博客
11-30 806
自动驾驶的最新进展依赖于数据驱动的方法，这些方法被广泛采用，但面临着数据集偏差、过度拟合和不可解释性等挑战。从人类驾驶的知识驱动本质中汲取灵感，我们探索了如何将类似的功能注入自动驾驶系统的问题，并总结了一个集成交互环境、驾驶员代理和记忆组件的范例来解决这个问题。利用具有涌现能力的大型语言模型（LLM），我们提出了 DiLu 框架，该框架结合了推理和反射模块，使系统能够基于常识知识进行决策并不断发展。大量实验证明DiLu具有积累经验的能力，并且在泛化能力上比基于强化学习的方法具有显着优势。
lingo-client-react:ws
04-29
【lingo-client-react:ws】是一个基于React技术栈的客户端应用程序，主要用于展示如何在Websocket技术下构建实时通信功能。项目名称中的“lingo”可能是项目或产品名，而“client”表明它是服务端（可能名为“lingo-...
lingo-asset-fetcher-cli::grinning_face_with_smiling_eyes:以编程方式从LingoApp.com获取资产
05-04
变更日志 版本 描述 0.3.4 将Changelog添加到自述文件 ...视频教程（1/2）： 需要配置文件。 使用生成器创建配置文件是可选的。 $ laf gen 样本配置 已生成（部分） { " kits " : [ { " name " : " " , " s
omegat-lingo24-mt:Lingo24 Premium MT API 的 OmegaT 插件
06-20
OmegaT 的 Lingo24 高级 MT 插件 该项目包含翻译记忆库工具的插件，允许它利用的专用垂直引擎来获取机器翻译选项。 用法 为了使用这个插件，您必须注册一个 [Lingo24 Premium MT API] ( ) 帐户并有一个有效的计划。 ...
【自动驾驶】控制算法（三）轮胎侧偏与车辆动力学模型
Hello！大家好，我是清流君，愿我的分享能助您一臂之力。荣幸与您共探移动机器人世界！✨
08-20 1597
本篇博客是 自动驾驶控制算法 系列的第三节。内容整理自 B站知名up主 忠厚老实的老王 的视频，作为博主的学习笔记，分享给大家共同学习。   本系列博客的第二节介绍了车辆的自行车模型，推导出了运动学方程，并且定义了一系列物理量，比如横摆角 φ、质心侧边角 β 以及三大坐标系。   【自动驾驶】控制算法（二）三大坐标系与车辆运动学模型   理论上来说，有了运动学方程就可以做相应的控制算法。像龚建伟的《无人驾驶车辆模型预测控制》这本书里专门有一章讲以运动学模型作为基础
自动驾驶中的模仿学习
weixin_42605076的博客
08-26 872
模仿学习（Imitation Learning）是一种机器学习方法，通过观察和模仿专家（通常是人类）的行为来训练模型，使其能够在相似的情境中执行类似的任务。与传统的强化学习不同，模仿学习不需要通过反复尝试和错误来优化策略，而是直接从专家的示范中学习。在自动驾驶中，模仿学习通常涉及学习人类驾驶员的操作，如转向、加速、减速、换道等决策过程。通过模仿学习，自动驾驶系统可以在没有明确的奖励信号或标记数据的情况下学会驾驶。
从小鹏看自动驾驶发展趋势
小明师兄的博客
08-27 484
 小鹏：端到端大模型量产落地，体验升级成下阶段主线算法端，小鹏已量产国内首个端到端大模型，其模型采用分段式结构，分为神经网络 XNet、规控大模型 XPlanner 以及大语言模型 XBrain 三部分。数据闭环方面，小鹏的全栈数据闭环能够实现对数据的清晰处理以及高效的挖掘和解读，测试阶段实车测试与仿真测试并重，加快迭代节奏。云端算力方面，小鹏云端算力储备已达到 2.51EFlops。投入端，小鹏每年将投入 35 亿元用于智驾，其中 7 亿元用于算力训练。端到端架构下，小鹏 2024 年 7 月实现无限
强化学习在自动驾驶系统中的应用
N201871643的博客
08-24 309
强化学习是一种通过与环境的交互来学习最优策略的方法。在自动驾驶系统中，强化学习的目标是使汽车能够在各种复杂的环境中自主地行驶，同时保证安全和效率。强化学习的核心思想是通过不断地尝试和评估不同的行为，从而找到最优的策略。强化学习在自动驾驶系统中的应用具有重要的意义和广阔的前景。通过不断地学习和优化策略，自动驾驶系统可以在各种复杂的环境中实现自主驾驶，提高交通安全性和效率。然而，目前仍存在一些挑战，如样本效率低、训练时间长等问题需要进一步研究和解决。
端到端 - UniAD: Planning-oriented Autonomous Driving - 以规划为导向的自动驾驶（CVPR 2023）
77wpa的博客
08-23 808
现代自动驾驶系统的特点是按顺序执行模块化任务，即感知、预测和规划。为了执行各种各样的任务并实现高级智能，当代方法要么为单个任务部署独立模型，要么设计一个具有独立头部的多任务范式。然而，他们可能会出现累积错误或任务协调不足。相反，我们认为应该设计并优化一个有利的框架，以实现最终目标，即自动驾驶汽车的规划。为此，我们重新审视了感知和预测中的关键组成部分，并对任务进行了优先级排序，以便所有这些任务都有助于规划。
CVPR 2024论文分享┆LMDrive：基于大模型的闭环端到端自动驾驶
audyxiao001的博客
08-22 1006
摘要：本文介绍了CVPR 2024的一篇经典论文《LMDrive: Closed-Loop End-to-End Driving with Large Language Models》。该论文提出了一种语言引导的闭环自动驾驶框架LMDrive。
【自动驾驶】决策规划算法 | 数学基础（二）凸优化与非凸优化
Hello！大家好，我是清流君，愿我的分享能助您一臂之力。荣幸与您共探移动机器人世界！✨
08-27 594
各位小伙伴们大家好，本篇博客是自动驾驶决策规划算法数学基础的第二节，内容整理自 B站知名up主 忠厚老实的老王 的视频，作为博主的学习笔记，分享给大家共同学习。   凸优化是比二次规划更宽泛的概念。本篇博客的讲解不像数学系讲得那么细，比如凸优化的来源、凸优化的定义、怎么求解凸优化问题、KKT 条件之类的问题不会讲。对于做自动驾驶的人来说，凸优化就是调包，把数据结构弄好，然后喂到包里面去，算结果就可以了。
自动驾驶轻地图 、无地图、高精度地图
qq_45191106的博客
08-23 393
3. **高精度地图**：提供详细的道路特征、交通标志和车道信息。流程包括详细的地图数据收集、处理和更新。测试时重视地图数据的准确性、更新频率和系统对高精度地图的依赖。2. **无地图**：依靠实时传感器数据和计算机视觉来完成定位和导航。1. **轻地图**：通常包含基本的道路信息，如车道线和标志。这些方案在代码实现上有所不同，轻地图和高精度地图通常涉及地图数据的解析和使用，而无地图则重点在于实时数据处理。测试方法也有所不同，如高精度地图会更多关注数据的精确性和一致性，无地图则侧重于实时性和适应性。
乘客优先与随机数原则:自动驾驶情形下的生命冲突的破解逻辑
weixin_45905610的博客
08-27 664
生命冲突的存在应以对生命的保全不存在帕累托改进空间为前提。 和人工驾驶情形下的生命冲突的性质不同, 自动驾驶情形下的生命冲突的性质并非紧急避险, 而是汽车制造商对乘客的安全保障义务和对车外人员的不侵害义务之间存在冲突。 自动驾驶情形下的生命冲突的解决不应交由汽车制造商或其他私人的理性和良心, 而应交由立法者制定普遍规则。 乘客与车外人员之间的生命冲突应以乘客优先原则为解决方案。 选择该原则的立论基础有二: 第一, 市场论证表明, 乘客优先原则不仅具有让自动驾驶汽车市场份额扩大的经济价值, 而且蕴含着让交通事
【自动驾驶】控制算法（六）前馈控制与航向误差
最新发布
Hello！大家好，我是清流君，愿我的分享能助您一臂之力。荣幸与您共探移动机器人世界！✨
08-27 548
本篇博客是 自动驾驶控制算法 系列的第六节。内容整理自 B站知名up主 忠厚老实的老王 的视频，作为博主的学习笔记，分享给大家共同学习。   各位小伙伴们大家好，本节博客讲解前馈控制与航向误差。在上一节介绍了离散 LQR 以及连续 LQR，分别对应离散系统和连续系统。 LQR 的核心就是求黎卡提方程的 P，求出来之后就可以算出最优控制 u=−kx。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值