端到端自动驾驶的基础概念

最新推荐文章于 2025-04-10 12:53:38 发布
最新推荐文章于 2025-04-10 12:53:38 发布
阅读量6.2k 收藏 17
点赞数 25
分类专栏： 端到端自动驾驶 文章标签： 自动驾驶 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65089713/article/details/139842704
版权

欢迎大家关注我的B站：

偷吃薯片的Zheng同学的个人空间-偷吃薯片的Zheng同学个人主页-哔哩哔哩视频 (bilibili.com)

目录

1.端到端自动驾驶的定义

1.1特斯拉FSD

1.2端到端架构演进

1.3大模型

1.4世界模型

1.5纯视觉传感器

2.落地的挑战

1.端到端自动驾驶的定义

端到端自动驾驶也就是end-to-end autonomous driving（下面用端到端代替）的早期定义是“从传感器输入到控制输出的单一神经网络模型”，现阶段端到端的定义是“感知信息无损传递，自动驾驶系统的全局优化”

1.1特斯拉FSD

虽然在特斯拉FSD宣布切换至端到端技术架构后，国内智能驾驶公司也纷纷推出各种端到端智驾系统，但是技术主义者往往会认为这并不是真正的端到端，其实这些争议也来源于对于端到端的定义不清晰。

1.2端到端架构演进

  • 第一阶段：感知端到端。通过多传感器融合的数据输入，最后表征成BEV范式，已经是目前非常常见的感知方案。
  • 第二阶段：决策规
最低0.47元/天 解锁文章
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 3749
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
端到端自动驾驶：黑盒中的端到端
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
02-12 722
端到端自动驾驶（End-to-End Autonomous Driving, E2EAD）是当前自动驾驶领域的一个热门话题，它通过将感知、决策和控制等环节整合为一个端到端的系统，实现对车辆的完全控制。本文将详细介绍端到端自动驾驶的背景、核心概念与联系、核心算法原理与操作步骤、数学模型和公式、项目实践、实际应用场景、工具和资源推荐，以及未来发展趋势与挑战。
聊聊端到端自动驾驶通用感知架构的前世今生
lovely_yoshino的博客
10-23 4879
这张图演示的是相关方法的演进。这其中大部分都是基于BEV的方法，上图就是BEV-based相关方法的相关演进, 用某种方式将图像视角特征转到BEV特征空间，也就是一个高度方向拍扁的自车3D坐标系空间下，再用一个检测的Head实现目标检测。BEV这张图的尺寸通常比较大，比如一般常见的论文里面会用128×128 size，但在实际中，我们甚至会用两倍大小的BEV特征图。从图像特征空间向BEV层空间转换过程，是一个非常密集的计算过程。
汽车自动驾驶架构进化史——端到端演变
最新发布
weixin_50366509的博客
04-10 712
传统的自动驾驶架构多衍生于机器人架构，因此，在机器人领域的感知-定位-规划三大模块及其功能衍生，在很长时间内一直是自动驾驶架构发展的基调。典型的自动驾驶系统通常包含以下几个核心模块：感知模块（Perception）感知模块负责收集和解释车辆周围环境的信息。这包括使用各种传感器，如摄像头、激光雷达（LiDAR）、雷达和超声波传感器来检测和识别周围的物体，例如其他车辆、行人、交通信号和道路标志。感知模块需要处理来自这些传感器的数据，并将其转化为车辆可以理解的环境模型。
车辆的端到端自动驾驶（利用回归实现）
09-23
（不是完整项目，适用于学习）根据英伟达的端到端车联自动驾驶论文完成复现。文章：https://blog.csdn.net/chepwavege/article/details/92761789 涉及技术：Pycharm + Keras + Python 3.6 + numpy + opencv3.3.1+ udacity's self-driving car simulator 自己练手写的，注释比较详细，代码管理很烂，凑活看吧。
端到端深度学习在自动驾驶汽车上的应用
happytofly的博客
09-01 1129
原文：End-to-End Deep Learning for Self-Driving Cars 翻译：KK4SBB 责编：周建丁（zhoujd@csdn.net） 在最近的一款汽车应用产品中，我们用卷积神经网络（CNNs）将车前部摄像头捕捉到的原始像素图映射为汽车的方向操控命令。这种强大的端到端技术意味着，只需要人们提供少量的训练数据，系统就能自动学会驾驶技术，无论有没有车道...
一文了解“端到端”自动驾驶模型
热门推荐
qq_22751305的博客
08-05 1万+
对于华为、小鹏等国内玩家而言，大家普遍尚处于感知“端到端”、决策规划模型化阶段。参考特斯拉在2021和2022年年底的AI Day上分别公布了BEV和Occupancy Network的技术架构，“端到端”是深度学习中的概念，英文为“End-to-End（E2E）”，指的是一个AI模型，只要输入原始数据就可以输出最终结果。应用到自动驾驶领域，意味着只需要一个模型，就能把摄像头、毫米波雷达、激光雷达等传感器收集到的感知信息，转换成车辆方向盘的转动角度、加速踏板的踩踏深度以及制动的力度等具体操作指令，让汽车实现
浅谈端到端（自动驾驶）
zhaoliang的博客
07-18 2933
端到端自动驾驶介绍：什么是端到端？为什么要端到端？端到端用到了哪些关键技术？
端到端自动驾驶综述
共同学习
08-31 1448
这样才会对世界有一个判断和预测;‒ 我理解这里的独立同分布指的就是训练的时候, 数据集中的{(s, a)} 是以相同的概率被采样的.即一个状态对应着一个action;比如训练的时候见到的都是路口停车等待的情况, 那如果测试的时候, 路口一辆车都没有, 哪怕是绿灯, 模型可能都不知道是要往前走的;举一个例子, 拿侧方停车为例, 教练就是专家, 教练会根据观测(看后视镜),产生他自己对于环境的理解(BEV), 通过他自己的经验, 做出具体的判断;但是模块化设计的时候, 不知道什么样的任务是好的,
自动驾驶架构进化史：端到端自动驾驶演变
自动驾驶实战
08-10 4475
2023年以来，在行业龙头特斯拉的标杆作用、大模型代表的AGI技术范式、以及自动驾驶拟人化和安全性需求的共同推动下，自动驾驶行业对于端到端的关注度一路升温。产业界、学术界和资本市场在端到端自动驾驶领域都有里程碑事件发生。端到端自动驾驶已经成为明确的行业共识。
端到端自动驾驶与通用机器人
自动驾驶实战
08-17 1373
引言一直以来，自动驾驶和机器人是紧密相关相互借鉴和启发的两个行业，本文将讨论自动驾驶早期发展与机器人的历史渊源，以及近年来自动驾驶端到端技术可能对机器人行业的启发；最后，我们将呈现关于物理世界AGI的实现路径的不同观点。
端到端学习在自动驾驶中的使用
03-24
介绍了端到端学习在自动驾驶中的应用和具体实现的介绍，有图有真相
端到端自动驾驶的车辆网络安全防护
AI大模型应用之禅
11-03 1078
自动驾驶, 网络安全, 车联网, 威胁模型, 安全架构, 攻击防御, 隐私保护, 漏洞检测, 恶意软件, 数据加密 1. 背景介绍 自动驾驶技术作为未来交通运输的重要发展方向，其核心是通过传感器、计算平台和控制系统实现车辆自主行驶。然而，随着自动驾驶系统的复杂性和网络连接程度的不断提
端到端自动驾驶合集
whaosoft143ai的博客
01-12 1491
最近的端到端驱动方法可以分为两个主流：模仿学习和强化学习。强化学习（RL）是机器学习中最有趣的领域之一，其中代理通过遵循策略与环境交互。在环境的每一个状态下，它都会根据策略采取行动，从而获得奖励并过渡到新状态。RL的目标是学习使长期累积回报最大化的最优策略。在模仿学习中，专家（通常是人类）为我们提供了一组演示，而不是试图从稀疏的奖励中学习或手动指定奖励函数。然后，代理尝试通过模仿专家的决策来学习最优策略。下面为大家汇总了近三年的一些端到端工作，虽然不多，但确实是一个很值得研究的领域！用于端到端自动驾驶多模态
TCP：结合轨迹规划和控制预测的端到端自动驾驶框架
PerceptionX的博客
06-29 2125
热爱自动驾驶研究的你，是否还在为如何融合多传感器信息而苦恼，亦或是为提升上游检测和预测模块的点数而卷得不可开交？不妨换个思路，在端到端模型输出形式上对症下药，乘坐我们的TCP，纵使路途遥远充满挑战，也能安全为您保驾护航。...
端到端智能驾驶：技术革命与未来出行新范式
2301_78976699的博客
02-25 2121
端到端智能驾驶（E2E Autonomous Driving）是指通过单一深度学习模型，直接将传感器原始数据映射为车辆控制指令的技术范式。数据驱动：完全依赖海量驾驶数据训练，而非人工规则编程全局优化：感知、预测、决策在统一模型中进行联合优化涌现智能：通过自监督学习获得超越人类设计规则的行为模式当端到端智能驾驶系统在2025年突破"百万公里接管率"门槛，人类将见证机器驾驶能力首次系统性超越人类驾驶员的里程碑时刻。这场技术革命不仅意味着出行方式的颠覆，更预示着人工智能在物理世界的真正觉醒。
号称“全球首家”端到端自动驾驶，是真的实现还是噱头？
硅谷密探
04-19 1654
硅谷Live /实地探访/ 热点探秘 / 深度探讨拒绝传感器，拒绝高精地图，拒绝人工设计的专家规则。来自英国的初创企业Wayve向自动驾驶业界发出了自己的挑战。201...
【实物】端到端自动驾驶搭建教程（四）附完整资料
小小何先生的学习之旅
12-28 665
我的微信公众号名称：AI研究订阅号 微信公众号ID：MultiAgent1024 公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！ 本文来自贺文通、何彧衡、何志强的课程设计。 系统实现 硬件实现   将树莓派的第29号引脚接到L298N电机驱动的IN1端，树莓派的第31号引脚接到L298N电机驱动...
端到端感知决策大模型能够真正实现无人驾驶？深度详解大模型与自动驾驶发展路径
auto_mooc的博客
02-26 7858
大模型又被称为基础模型（foudation model），是指具有大规模参数、使用海量数据训练的大型神经网络模型。之所以被称为foundation model，是因为它们可以作为许多下游任务的起点，通过微调来适应特定的应用。简单的说，可以将大模型理解为一个基础，通过不同的训练数据，可以应用于不同的场景。现有大模型多以Transformer架构为基础，采用预训练+微调技术进行参数学习，使之适配不同领域的具体任务，经剪枝压缩后完成最终部署。预训练：是指在大规模没有标注的数据集上进行无监督或自监督的学习。
端到端自动驾驶大模型思路
03-28
### 端到端自动驾驶大模型的设计思路 端到端自动驾驶大模型旨在通过单一神经网络完成从传感器数据输入到车辆控制输出的全过程，减少中间的人工干预和模块划分。这种设计能够显著提升系统的效率和鲁棒性。以下是关于端到端自动驾驶大模型设计的一些核心要点： #### 设计原则 端到端自动驾驶模型遵循整体优化的原则，将传统的感知、预测、规划和控制等多个独立模块融合为一个统一的整体。例如，在2023年8月，小马智行推出了一种新的端到端自动驾驶模型，该模型不仅适用于L4级别的高度自动化驾驶场景，还可以降级用于L2级别辅助驾驶系统[^1]。 #### 核心架构 端到端智能驾驶的感知部分是整个系统的关键环节之一，它负责处理来自摄像头、激光雷达和其他传感器的数据，并将其转化为结构化的环境表示。这些表示可以包括但不限于目标检测、语义分割以及三维场景重建等内容。相比于传统分立式的功能分解方式，现代端到端感知模型利用深度学习技术实现了特征提取至最终决策之间的全链条自动操作过程[^2]。 #### 具体实现案例分析——LMDrive 在最新的研究进展方面，《CVPR 2024》上发表的一篇名为《LMDrive：基于大模型的闭环端到端自动驾驶》的文章介绍了如何构建一种高效的端到端自驾车解决方案。文章中的表格显示了一系列针对不同组件所做的消融测试结果表明每一个组成部分对于整体表现都至关重要不可缺失任何一个部件都会导致性能下降情况发生[^3]。 另外一篇文献探讨了以路径规划为核心的另一种类型的端到端框架。在这个例子当中引入了一个叫做“命令嵌入”的概念来帮助解决缺乏精确地图信息条件下仍需执行复杂任务的需求。具体来说就是把初始导航指令转换成了三个可训练向量形式即所谓的‘命令嵌入’，它们与代表自我车俩当前状况的信息共同组建成一个新的查询对象—我们称之为“计划查询”，这个新形成的查询会进一步作用于鸟瞰视角下的空间特性之上从而推导出未来轨迹点位置坐标序列[^4]。 ```python class EndToEndAutonomousDrivingModel(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(EndToEndAutonomousDrivingModel, self).__init__() self.perception = nn.Sequential( nn.Conv2d(input_dim, hidden_dim, kernel_size=3), nn.ReLU(), ... ) self.planning_query = nn.Embedding(num_embeddings=3, embedding_dim=hidden_dim) self.decoder = nn.Linear(hidden_dim, output_dim) def forward(self, sensor_data, command_embedding_index): features = self.perception(sensor_data) planning_query = self.planning_query(command_embedding_index).unsqueeze(-1).unsqueeze(-1) combined_features = torch.cat([features, planning_query], dim=-1) waypoints = self.decoder(combined_features.flatten(start_dim=1)) return waypoints ``` 上述代码片段展示了一个简化版的端到端自动驾驶模型类定义，其中包含了感知层、命令嵌入生成器以及最后的解码器三大部分。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无意2121

创作不易，多多支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值