VLM-E2E(1): Senna论文解读

最新推荐文章于 2025-04-09 13:24:35 发布
最新推荐文章于 2025-04-09 13:24:35 发布
阅读量76 收藏
点赞数
分类专栏： LLM 文章标签： E2E VLM Senna
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38346042/article/details/145989837
版权

在这里插入图片描述

端到端自动驾驶在大规模数据的支持下展现了强大的规划能力，但在复杂和罕见场景中仍因常识有限而表现不佳。相比之下，大规模视觉-语言模型（LVLMs）在场景理解和推理方面表现出色。未来的发展方向在于结合这两种方法的优势。以往使用 LVLMs 预测轨迹或控制信号的方法效果欠佳，因为 LVLMs 并不擅长精确的数值预测。本文提出了 Senna，一种将 LVLM（Senna-VLM）与端到端模型（Senna-E2E）结合的自动驾驶系统。Senna 将高层规划与低层轨迹预测解耦：Senna-VLM 生成自然语言的规划决策，而 Senna-E2E 预测精确的轨迹。Senna-VLM 采用多图像编码方法和多视角提示，以实现高效的场景理解。此外，我们引入了面向规划的问答（QAs）和三阶段训练策略，在保留常识的同时提升了 Senna-VLM 的规划性能。在两个数据集上的大量实验表明，Senna 实现了SOTA规划性能。值得注意的是，在大规模数据集 DriveX 上进行预训练并在 nuSce

了解本专栏 订阅专栏 解锁全文 超级会员免费看
全局端对端问题及应对方案
weixin_43163941的博客
04-09 643
1）大算力消耗及存储资源，通讯带宽，都无法满足落地需求2）无辅助模块，比如缺少了应对交通规则的地图模块3）3D空间感知能力不足，又比如遮挡，横穿，长距离远望，切出，后向来车4）长序列记忆，能长期跟踪目标（行人运动）或复杂交互场景（比如多车博弈），路口变道交通标识5）轨迹实时性和轨迹长度，8S，max100ms-cycle（其实可能实际要更快点），即如何解决车端实时推理（是整个链路的CycleTime评估），无法做到高频响应。
自动驾驶“大模型+端到端”整理笔记：DriveVLM(理想), Senna(地平线)，EMMA(Waymo), LeapAD[NIPS2024]
学习记录
01-24 2770
VLM+端到端模型方法详解和整理：DriveVLM(理想), Senna(地平线)，EMMA(Waymo), LeapAD[NIPS2024]
论文精读系列1：Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving
congcongnanian97的博客
11-25 1548
Senna：大模型+端到端
⭐Senna：（VLM+e2e）重点论文
qq_35975367的博客
04-09 570
它能基于输入的场景信息，利用自身的知识和推理能力，以自然语言的方式给出诸如 “加速”“右转” 等高层次的决策指令。而 Senna-E2E 则依据 Senna-VLM 生成的元动作，来预测低层次的规划轨迹，即具体的车辆行驶路径和速度等信息。第二阶段是驾驶微调，我们基于第三节 A 部分提出的面向规划的问答（QAs）对 Senna-VLM 进行微调，但不包括元动作规划问答。对于 Senna-E2E，在训练阶段我们使用真实的元动作作为输入，而在推理阶段，它依赖于 Senna-VLM 预测的元动作。
规划误差降低27%，碰撞率降低33%Senna: 大规模视觉-语言模型与端到端自动驾驶相结合
自动驾驶实战
10-31 981
端到端自动驾驶在大规模数据中展示了强大的规划能力，但在复杂、罕见的场景中仍然因常识有限而表现不佳。相比之下，大型视觉语言模型（LVLMs）在场景理解和推理方面表现出色。前进的方向在于融合两者的优势。以往利用LVLMs预测轨迹或控制信号的方法效果不佳，因为LVLMs并不适合精确的数值预测。本文提出了Senna，一个结合LVLM（Senna-VLM）与端到端模型（Senna-E2E）的自动驾驶系统。Senna将高层次规划与低层次轨迹预测分离。
Senna：连接大型视觉-语言模型和端到端自动驾驶
yorkhunter的博客
12-21 1160
24年10月来自华中理工和地平线的论文“Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving”。 端到端自动驾驶凭借大规模数据展示强大的规划能力，但由于常识有限，在复杂、罕见场景中仍举步维艰。相比之下，大型视觉-语言模型 (LVLM) 在场景理解和推理方面表现出色。前进的道路在于融合两种方法的优势。以前使用 LVLM 预测轨迹或控制信号的方法会产生次优结果，因为 LVLM 不适合精确的数值预测。
2025端到端自动驾驶前瞻：30+技术文章汇总！开卷端到端2.0时代～
CV_Autobot的博客
02-27 387
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线随着科技浪潮推动自动驾驶迈向新高度，端到端自动驾驶技术不断涌现创新成果。在此，我们深入剖析 30 项关键技术，融合学术深度与市场潜力，为您呈现一幅全面且极具吸引力的自动驾驶技术全景图，开启智能交通新时代的探索之旅。本文内容均出自『自动驾驶之心知识星球』，欢迎加入交流，这里已经汇聚了近4000名自动驾驶从业人员，...
LVLM赋能端到端自动驾驶再上一层楼！地平线联手华科打造Senna算法模型！
FelixTea的博客
12-30 713
在本文中，作者将大视觉-语言模型和端到端自动驾驶相结合，提出了Senna算法框架。通过LVLM生成规划决策，端到端算法预测轨迹的方式，Senna在nuScenes规划任务上实现了SOTA的性能
复现OpenVLA：开源的视觉-语言-动作模型及原理详解
热门推荐
weixin_50557558的博客
09-12 1万+
复现OpenVLA：开源的视觉-语言-动作模型及原理详解
经典文献阅读之--Senna(桥接大型视觉语言模型和端到端自动驾驶)
weixin_68094467的博客
01-01 1011
桥接大型视觉语言模型和端到端自动驾驶。端到端自动驾驶通过大规模数据展现出强大的规划能力，但是由于常识有限，在复杂、罕见的场景中仍然面临困境。相比之下，大型视觉语言模型（LVLMs）在场景理解和推理方面均表现出色。前进的道路在于融合这两种方法的优势。先前使用LVLMs预测轨迹或者控制信息的方法会产生次优的结果，因为LVLMs不太适合于精确的数值预测。本文提出了，这是一种。Senna将高级规划与低级轨迹预测解耦。Senna-VLM以自然语言生成规划决策，而Senna-E2E则预测精确的轨迹。
嵌入式八股文面试题库资料知识宝典-华为的面试试题.zip
04-27
嵌入式八股文面试题库资料知识宝典-华为的面试试题.zip
训练导控系统设计.pdf
04-27
训练导控系统设计.pdf
嵌入式八股文面试题库资料知识宝典-网络编程.zip
04-27
嵌入式八股文面试题库资料知识宝典-网络编程.zip
人脸转正GAN模型的高效压缩.pdf
04-27
人脸转正GAN模型的高效压缩.pdf
少儿编程scratch项目源代码文件案例素材-几何冲刺 转瞬即逝.zip
04-27
少儿编程scratch项目源代码文件案例素材-几何冲刺 转瞬即逝.zip
少儿编程scratch项目源代码文件案例素材-鸡蛋.zip
04-27
少儿编程scratch项目源代码文件案例素材-鸡蛋.zip
嵌入式系统_USB设备枚举与HID通信_CH559单片机USB主机键盘鼠标复合设备控制_基于CH559单片机的USB主机模式设备枚举与键盘鼠标数据收发系统支持复合设备识别与HID.zip
最新发布
04-27
嵌入式系统_USB设备枚举与HID通信_CH559单片机USB主机键盘鼠标复合设备控制_基于CH559单片机的USB主机模式设备枚举与键盘鼠标数据收发系统支持复合设备识别与HID
嵌入式八股文面试题库资料知识宝典-linux常见面试题.zip
04-27
嵌入式八股文面试题库资料知识宝典-linux常见面试题.zip
面向智慧工地的压力机在线数据的预警应用开发.pdf
04-27
面向智慧工地的压力机在线数据的预警应用开发.pdf
VLM-R1
03-10
### VLM-R1 技术概述 VLM-R1 是一种视觉语言模型（Vision-Language Model），其设计旨在实现图像与文本之间的跨模态理解。此项目托管于 GitHub 平台，由 om-ai-lab 维护并开源共享[^1]。 #### 主要特点 - **多模态融合**：能够处理来自不同感官的信息输入，比如将自然语言描述转换成对应的图像特征表示。 - **预训练架构**：采用大规模数据集进行无监督或弱监督方式下的参数初始化训练，从而获得更强大的泛化能力和迁移学习性能。 - **应用场景广泛**：适用于多种实际场景，如自动字幕生成、内容审核、智能客服等领域。 ```python import torch from transformers import CLIPProcessor, CLIPModel model_name = "om-ai-lab/VLM-R1" device = "cuda" if torch.cuda.is_available() else "cpu" processor = CLIPProcessor.from_pretrained(model_name) model = CLIPModel.from_pretrained(model_name).to(device) def get_image_text_similarity(image_path, text_input): inputs = processor(text=text_input, images=image_path, return_tensors="pt", padding=True) outputs = model(**inputs.to(device)) logits_per_image = outputs.logits_per_image.cpu().detach().numpy() probs = logits_per_image.softmax(axis=1)[0] return {"similarity": float(probs)} ``` 上述代码展示了如何加载 VLM-R1 模型并对给定的一张图片和一段文字计算相似度得分。这有助于评估两者之间语义上的关联程度。 #### 开源贡献者指南 对于有兴趣参与到该项目中的开发者而言，官方提供了详细的开发环境配置说明和技术文档支持。这些资料不仅涵盖了基础理论介绍，还包括了具体的编程实践案例分析，帮助新手快速入门并作出有价值的改进[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值