DriveLM阅读笔记

最新推荐文章于 2024-07-25 01:51:24 发布
最新推荐文章于 2024-07-25 01:51:24 发布
阅读量186 收藏 1
点赞数
分类专栏： 论文阅读 文章标签： 笔记 人工智能 自动驾驶 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43854103/article/details/134974013
版权

笔记目录

基本信息

  • 题目：Drive on Language: Unlocking the future where autonomous driving meets the unlimited potential of language.
  • 时间：2023.8
  • 机构：OpenDriveLab，图宾根大学
  • 链接直达：github
  • 关键词：自动驾驶，语言模型，推理能力
  • 概括：DriveLM 是一个自动驾驶数据集，旨在连接大型语言模型和自动驾驶系统，从而提高语言模型在决策和可解释性规划中的推理能力。
  • 是否开源：未开源pipeline。数据集放出。

P3：感知，预测和规划

理解

  • DriveLM 数据集是通过选择涉及自我车辆运动状态变化的关键帧并在周围图像中选择关键物体来获得的。
  • 关键帧选择是根据涉及自我车辆运动状态变化的帧来完成的，例如车道变更、突然停下和停下后启动。
  • 关键对象的选择是基于以下标准进行的：这些物体应该能够影响自我车辆的动作，例如交通信号、过马路的行人以及其他朝着自我车辆方向行驶的车辆
  • 问题和答案注释是通过基于所选关键对象自动生成有关单个或多个对象的感知、预测和规划的问题来完成的。
  • 数据集包括以一种名为思维图 (GoT) 的图形式结构连接的 QA 对，以 QA 对作为节点，对象的关系作为边缘，便于感知、预测和规划 (P3)

精读

暂无

传说故事
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
阅读笔记
02-08
【标题】：“阅读笔记” 【描述】：“家，大家好，欢迎来到我的网站，代码102阅读笔记，代码201阅读笔记” 在这些简短的描述中，我们可以推测这是一个关于个人学习或教学资源的网站，其中包含了两份特定的阅读笔记...
DriveLM: Driving with Graph Visual Question Answering
weixin_46254816的博客
01-22 1019
我们研究了如何将在网络规模数据上训练的视觉语言模型（VLM）集成到端到端驾驶系统中，以提高泛化能力并实现与人类用户的交互。虽然最近的方法通过单轮视觉问答（VQA）使VLM适应驾驶，但人类驾驶员在多个步骤中进行决策。从关键对象的定位开始，人类在采取行动之前估计对象交互。关键的见解是，我们提出的任务，图VQA，我们通过感知，预测和规划问答对建模图结构的推理，我们获得了一个合适的代理任务来模仿人类的推理过程。
自动驾驶的同学看过来：DriveLM：世界首个语言+自动驾驶全栈开源数据集
xuxu96
11-02 1006
如下图所示，DriveLM提供了从物体识别、物体运动状态判断到物体未来运动轨迹预测、自车运动规划的完整逻辑链条，确保了整个决策过程中每一步的合理性和可解释性。数据集中的问答对主要可以分为三类：感知（Perception）、预测（Prediction）和规划（Planning）。预测部分询问车辆或行人的未来可能行为和状态；DriveLM：世界首个语言+自动驾驶全栈开源数据集，旨在借助大语言模型和海量自然语言数据集，构筑复杂场景下安全、精准、可解释的自动驾驶系统，突破现有自动驾驶推理能力上限，数据集已开源！
探索自动驾驶的未来：DriveLM——连接语言与驾驶的创新开源项目
gitblog_00055的博客
05-24 323
探索自动驾驶的未来：DriveLM——连接语言与驾驶的创新开源项目 项目地址:https://gitcode.com/OpenDriveLab/DriveLM 在人工智能领域中，自动驾驶正逐渐成为最重要的前沿之一。而今天，我们向您推介一个突破性的开源项目——DriveLM，这是一个集语言理解、场景感知和智能规划于一体的自动驾驶数据集。该项目旨在将大型语言模型的能力引入到自动驾驶系统中，推动汽车行业...
LMDrive: 大语言模型加持的闭环端到端自动驾驶框架
Paper weekly
12-26 512
引言▲图1.LMDrive 框架功能概览图说明：LMDrive 接收语言指令和多模态多视角的传感器数据作为输入，并实时输出决策控制信号，以应对各种各样复杂的驾驶场景。大语言模型（Large Language Model，LLM）可谓是 2023 年最火热也最重要的人工智能子领域，在各类机器学习任务中都展现出了惊艳的效果，相关的上下游应用也都发展得十分迅速。而将大语言模型应用在自动驾驶领域也有一...
基于 Python 实现的文献阅读笔记管理软件
06-15
【作品名称】：基于 Python 实现的文献阅读笔记管理软件 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】：一个文献阅读...
deepseek-vl 论文阅读笔记
samoyan的博客,记录技术成长~
07-22 1170
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
Spring Security学习笔记（二）Spring Security认证和鉴权
飞！！！的博客
07-24 634
用户认证的基础Filter，只有UsernamePasswordAuthenticationFilter这一个实现类。...//主要方法//先校验请求url与表单校验提交的url是否一致，不一致执行下一个Filter//一致的话就执行认证逻辑，一般默认的表单提交url是"/login"if (!} else {try {//实现类执行具体的认证逻辑return;//由子类实现具体的验证逻辑...
Typora笔记上传到CSDN
最新发布
m0_48362854的博客
07-25 465
我花了一个小时弄这个 找了很多csdn的笔记 都弄完感觉最方便的还是直接在csdn上写（因为有的之前不是用的阿里云oss 而是gitee 免费仓库 但是好像后来不能使用了 就会导致你上传的笔记图片不显示 很麻烦 使用阿里云或者腾讯云的话 需要花钱 虽然两块钱用一年 但是感觉也是很麻烦 不如直接在网页上写写算了 当然如果笔记图片很多的 还是建议配置一下 ）参考这个配置完阿里云oss 没什么问题 但是PicGo也是参考他的 因为版本是旧的 可以点击我下边的官方链接下载。图片的链接是本地的 当然没法显示。
SAP PP学习笔记31 - 计划运行的步骤2 - Scheduling(日程计算)，BOM Explosion(BOM展开）
shi_ly的专栏
07-24 712
本章主要讲Scheduling(日程计算),其中包括 外部调达中的调度，生产订单中的调度，修改需求日期(其实就是在物料中增加安全时间和BOM中的提前期偏置量)。另外还讲了BOM展开的内容，详细讲了BOM选择的各种方法，除了按数量选BOM之外，还有其他比如 按日期，按生产版本等，而其中按日期又分为按订单开始日期，订单终了日期等，越趋复杂。
学习笔记---java篇（0723）
m0_70630166的博客
07-23 791
java、数据类型、循环、选择等
html笔记
weixin_51644244的博客
07-22 2496
/</</</本地访问：file:///D:\Project\html\html01\html01/第一章.htmlhttp://https:// 加密协议网络传输协议 超文本传输协议常见的：** < a >、< strong >、< b >、< em >、< i >、< del >、< s >、< ins >、< u >、< span >、< img />、< input />、< select >、< textarea >、< br />**、等，其中 < span > 标签是最典型的行内元素。
笔记分类的烦恼
m0_56147044的博客
07-24 423
笔记的分类
webStorm 实时模板笔记
weixin_46665865的博客
07-22 274
【代码】webStorm 实时模板笔记。
7月22日学习笔记 文件共享服务nfs，SAMBA文件共享与DNS域名服务
weixin_70751701的博客
07-22 1036
计算机名称——>解析为相应IP地址，实现信息通讯 NetBIOS是Network Basic Input/Output System的简称，⼀般指⽤于局域⽹通信的。/usr/share/nginx/html/static/6.查看挂载⽬录，在webserver中看到nfs服务共享的数据，这个数据是连接，smbd进程控制发布共享⽬录与权限、==负责⽂件传输== ==TCP 139 445==搭建⼀个SAMBA服务，共享⼀个⽬录/samba/share,客户端使⽤user01/123通过。
《Programming from the Ground Up》阅读笔记：p75-p87
codists的博客
07-24 826
存储在文件中的数据称为persistent data，因为即使程序每页运行，数据仍保留在磁盘上的文件里。词组：be tedious to do sth。
FeignErrorDecoder使用笔记
yichengjie_c的博客
07-23 239
【代码】FeignErrorDecoder使用笔记。
suricata源码阅读笔记
05-27
很高兴为您解答。Suricata是一款开源的网络入侵检测系统，使用C语言编写。以下是我的一些Suricata源码阅读笔记： 1. Suricata的主要模块包括：检测引擎、日志模块、协议解析器、线程管理器等。 2. Suricata使用YAML配置文件进行配置，其中包括主机、端口、规则文件等信息。 3. Suricata的规则文件使用的是Snort规则语法，可以通过修改规则文件来实现自定义检测。 4. Suricata使用libhtp进行HTTP协议解析，可以解析HTTP请求和响应的头部和主体信息。 5. Suricata使用libpcap进行数据包捕获，可以实现对网络流量进行实时分析。 6. Suricata支持多线程处理，可以通过配置文件指定线程数。 7. Suricata使用DPDK进行高性能数据包处理，可以实现每秒处理数百万个数据包。 以上是我对Suricata源码阅读的一些笔记，希望对您有所帮助。如果您有其他的问题，欢迎随时提出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值