理想2024智能驾驶夏季发布会硬核解读（论文&代码）

自动驾驶之心

于 2024-07-14 00:01:15 发布

阅读量169

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247617919&idx=4&sn=1037c40464b83c1266afba2c96fdf7c3&chksm=cf5625c6fc8688139117ccf2991d55b91e8111b4fdd5a4d10cefd508b583a4fd805f2fcbb258&scene=126&sessionid=0

版权

编辑 | 自动驾驶之星

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『端到端自动驾驶』技术交流群

本文只做学术分享，如有侵权，联系删文

写在前面的话

近期理想开了2024智能驾驶夏季发布，小编将自己感兴趣的内容整理出来供大家一起来学习讨论！整个发布会我主要感兴趣的是两个部分，一个是理想的无图和端到端的方案设计，第二是如果使用端到端方案，如何解决闭环测试的问题(也就是传感器仿真的问题)，毕竟这个时代是得数据者，得天下！

端到端到底怎么玩

其实到现在为止，可能大家都还不太明确端到端到底该怎么玩，毕竟现在搞端到端的团队都被当成了秘密武器，老马也不在开他的Ai day 了，虽然有很多人在PPT上写了很多关于端到端的字和框图，但是估计大家看完依旧是一脸懵。毕竟能像Tesla 那样详细讲pipeline 的好像少之又少，估计Tesla 再也不会开那么详细的科技日了！ok, 回到正题让我们来看看理想自驾团队的思考！

图1: NPN 基于先验(众包)的自动驾驶算法

从图1，可以看出理想的第一代城市自动驾驶算法，是一个去高精地图的算法，也就是现在行业所说的无图的算法。如果搞无图(高精地图)的话，那这个算法里面谁来扮演高精地图的角色呢？在图1里面我们可以看到有两个一个是导航地图，一个就是NPN先验特征，它们一起作用让整个感知能力具备局部超视距的能力。说的在明白一点，这个NPN的先验特征就是云端众包建图的思路。关于无图方案的讨论更详细的讨论见社区的文章！无图(去高精地图)的自动驾驶技术路线中谁扮演着图的角色？

那如何做的呢大家一定会问？有没有对应的论文和开源代码呢？不要慌当然有了。在这里还是要感谢自动驾驶学术届的创新和开源精神的！

《 Neural Map Prior for Autonomous Driving》

看完这个图，你是不是有一点点知道该如何去做了，Selected Map 这个模块可以来着云端的特征哈！那如果你还不知道该怎么去做，不要慌，因为代码也开源了:

https://github.com/Tsinghua-MARS-Lab/neural_map_prior。

看到这里你一定觉得，不会就这么简单吧！当然不会这么简单了，因为云端建图那一块依旧不知道方案怎么搞。这个时候你是不是又懵了，不要慌，在这里给大家推荐关注秦通老师的工作！

RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving

怎么样，酷不酷这样的建图效果，不过很遗憾这篇论文的代码没有开源，https://github.com/Linghao-Yang/Road-Map-SLAM/issues。不要过多的悲伤因为类似的工作还有很多。见社区曾经的帖子(曾经这么好的帖子，大家都不点赞和收藏，快没有更新的动力了！)

全新第一视角导航应用！秦通老师新作CS-NeRF：利用量产车数据大规模重建的众包框架

端到端自动驾驶必要模块在线建图——MonLaneMapping_c++复现

在这里可能还忽略了一个模型，就是导航地图如何融合到感知网络里面呢？在这里小编给大家推荐2024年CVPR 自动驾驶挑战赛里面的去高精地图赛道的论文！https://opendrivelab.com/challenge2024/

看完这些内容的话，估计你就知道导航地图该如何编码到网络里面了！

看到这里我想你一定信心大增了，感觉可以搞一波了。但是时间量产的时候一定会越到各种各样的问题了，不过原始算法确实已经或多或少有了！

但是这个时代就是这么卷，新能源电动车行业很卷，自动驾驶行业那就是卷中王！

图2: 理想汽车系统1的昨天，今天和明天

我们刚才讲了那么多，讲的别人昨天第一代的方案，从图2 可以看出别人已经搞出了三代，并且有可能整在大力在搞第三代！

那第二代的无图，分段式端到端Two Models 的方案到底是如何搞的呢！其实这一代的技术更像是一个中间态的技术方案，或者可以理解成规控模块的网络化(NN). 那有没有对应的论文呢，我们以TCP 网络来举例！

《Trajectory-guided Control Prediction for End-to-end Autonomous Driving: A Simple yet Strong Baseline》

TCP 以⼀种多任务学习的形式（Multi-tasklearning）将轨迹和控制信号作为两个并列的分⽀，接在共⽤的输⼊encoders后，并设计了两个分⽀之间的交互，在最后将两个分⽀的输出结果灵活结合。类似既往的端到端模型，它输⼊也包含传感器、指令两部分内容。⼀个基于CNN的image encoder⽤于提取输⼊前视相机的图⽚特征，⼀个基于MLP的measurement encoder⽤于处理⾃⻋当前速度和导航信息，两者结合得到的特征同时提供给后续轨迹分⽀和多步控制分⽀使⽤。不光论文也有代码也是有的！https://github.com/OpenDriveLab/TCP。

在这里我们不过多的去讲第二代方案的技术路线，因为都已经第三代了，那一定是第三代的方案更加优雅，并且端到端的自动驾驶技术也是一个发展的趋势了！端到端的自动驾驶技术路线会成为下一个爆发点吗？

第三代的技术方案到底是一个什么样的呢？大家有没有注意到图一上面有两个小字，叫系统1，那一定还有系统2的，当然你猜对了！

图3: 理想最终的自动驾驶技术方案，端到端与视觉语言模型相互结合

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频