作者 | 李慢慢1990 编辑 | 车路漫漫
点击下方卡片,关注“自动驾驶之心”公众号
戳我-> 领取自动驾驶近15个方向学习路线
本文只做学术分享,如有侵权,联系删文
距离3月28日和群友们在一起在群里讨论小米发布会那日已经过去好多天了,到今天我才有空来整理整理当初讨论的一些问题。
爬楼太难了,信息也很驳杂,所以本篇文章尽量选择性地摘取一些关于小米SU7的智驾仿真方向的聊天内容。如下:
群里聊天的内容请大家自行判断。这里简单梳理几条李慢慢本人关心的话题和观点。
1、测试里程该如何统计才合理?
小米汽车上市发布会上,小米CEO雷军发表演讲表示,智能化是汽车的灵魂,未来十年,是智能化的十年。未来电动车的决胜点就是智能化,这也是小米擅长的。他透露,小米在智能驾驶上的目标是在2024年进入行业第一阵营。目前小米智能驾驶技术测试实车路测累计1000万公里,仿真测试累计2.5亿公里。
目前市面上不少智驾车辆都拿路测里程说事,但这个测试里程并不像电车续航里程那样有法规定义的统计方式,导致厂家很容易把里程数据吹上天,误导消费者,反正解释权都在厂家们自己手里。
同样是智驾车辆,在上海滴水湖测试了1000万公里和在重庆主城区测试了1000万公里,那智驾水平是不可同日而语的。
我觉得一个比较合理的测试里程统计方式,必须是量化到每一单位公里的每一个场景标签上,比如道路类型标签,有多少比例是城区的,有多少比例是高速道路的,有多少是乡村小路的等等,比如目标类型标签,有多少比例是含汽车的,有多少比例是含行人的等等,也比如天气标签,也比如车速标签,也比如场景复杂度标签等等。只有有了统一的测试里程统计方法,各个厂家发布的里程统计方法才能统一,让人信服。
不管是仿真测试里程,还是实车测试里程,都该如此。
至于测试里程的真实性,是否应该由最后的公家单位来验证?实车测试数据可以抽查,仿真测试可以第三方复测。
2、端到端自动驾驶落地,对自动驾驶仿真工程师来说,工作有何改变?
思考这个问题其实很久了。
以前的自动驾驶,分为纯视觉派和多传感器融合派。当前的自动驾驶,我觉得可以分为传统自动驾驶派和端到端自动驾驶派。
传统自动驾驶,还是从传感器到感知到融合到规控的技术路线。端到端自动驾驶,则是从传感器直接到规控的技术路线,依靠大模型,可以直接把以前感知+融合+规控的活儿全部都干了。端到端自动驾驶,目前已经开始落地到产品上,国外要看特斯拉,国内有“首个”靠端到端来泊车的小米。
科普文:一文弄明白特斯拉的端到端自动驾驶
引用上述科普文中,作者提到的端到端自动驾驶的优点与缺点(相比传统自动驾驶)。
端到端自动驾驶的优点:
(1)更高的技术潜力:端到端结构允许模型从原始输入直接推导出最终控制输出,能够通过联合优化各个部分来提升整体性能,从而可能达到比模块化系统更高的技术上限。
(2)数据驱动解决复杂问题:该方法依赖于大数据集进行训练,使得系统在处理各种复杂的边缘情况(corner case)时表现更佳。大量数据有助于模型学习并适应不同环境下的驾驶场景,增强系统的鲁棒性和适应性。
(3)减少累积误差:由于全栈神经网络结构将感知、决策和控制等环节紧密地结合在一起,信息无需经过多个独立模块间的转换,因此减少了因模块间信息传递导致的累积误差,提高了决策与执行的一致性和准确性。
端到端自动驾驶的缺点:
(1)可解释性较差:端到端模型的内部机制往往过于复杂,难以直观理解和解释其决策过程,这给调试、改进和法规合规带来了一定挑战。
(2)对海量高质量数据的高度依赖:端到端自动驾驶需要极其庞大的高质量数据支持,包括多样化的道路场景、天气条件以及交通行为样本。获取、标注和清洗这些数据需要巨大的资源投入,同时训练这样的大型神经网络也需要高性能计算设备和大量的算力支持。
由于端到端的输出很难解释,人们很难接受把车辆的驾驶权交给无法解释的大模型,所以转而人们会退而求其次,不把规控“端”进去。即,端到端紧紧是把感知+融合端进去,而保留了规控由人类自己控制其逻辑,形成了大感知+大规控的技术路线,马斯克看到肯定会嘲笑,你们这是阉割版的端到端自动驾驶。
感知的仿真,一直都是仿真测试工程师的软肋。
在传统驾驶领域,仿真工程师们的主要工作,并不是生产可以用来训练感知模型的仿真数据,而是用简单的场景+工具链,主要对智驾规控算法进行简单的验证。worldsim的MIL/SIL/HIL/VIL应运而生。限于worldsim仿真的数据的真实性较低,worlsim在测试验证领域并不受重视。反而是基于实车数据的logsim的SIL/HIL手段比较受重视,尽管实车数据的采集成本巨大。
就好像,worldsim画了很大一张饼,但是并不管饱。logsim则是一张小饼,虽然难吃但是管饱。
端到端自动驾驶下,worldsim在感知上依然疲软,甚至于如果是彻底的端到端技术,连最后的规控算法都无法测试了,worldsim就此凉凉也不无可能。好在logsim依然坚挺,由于端到端极度依赖大量实车数据训练集,基于实车数据的logsim_HIL(开环或者闭环)将更被重视,但实车很难提供那么大量(比如小米吹的2.5亿)里程,所以由实车数据泛化生成更多数据的手段,业内也称log2world,也会比较受重视。这个方向借助Nerf / 3d gaussian spatting这些技术可以实现。
所以最后,大胆预测,如果端到端真的大规模铺展开来商业应用到自动驾驶上,log2world + 闭环HIL回灌是比较好的冲刺方向。
本文完。
投稿作者为『自动驾驶之心知识星球』特邀嘉宾,欢迎加入交流!
① 全网独家视频课程
BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频(扫码即可学习)
② 国内首个自动驾驶学习社区
国内最大最专业,近3000人的交流社区,已得到大多数自动驾驶公司的认可!涉及30+自动驾驶技术栈学习路线,从0到一带你入门自动驾驶感知(2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪)、自动驾驶定位建图(SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等,更有行业动态和岗位发布!欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频

③【自动驾驶之心】技术交流群
自动驾驶之心是首个自动驾驶开发者社区,聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向,目前近60+技术交流群,欢迎加入!
自动驾驶感知:目标检测、语义分割、BEV感知、毫米波雷达视觉融合、激光视觉融合、车道线检测、目标跟踪、Occupancy、深度估计、transformer、大模型、在线地图、点云处理、模型部署、CUDA加速等技术交流群;
多传感器标定:相机在线/离线标定、Lidar-Camera标定、Camera-Radar标定、Camera-IMU标定、多传感器时空同步等技术交流群;
多传感器融合:多传感器后融合技术交流群;
规划控制与预测:规划控制、轨迹预测、避障等技术交流群;
定位建图:视觉SLAM、激光SLAM、多传感器融合SLAM等技术交流群;
三维视觉:三维重建、NeRF、3D Gaussian Splatting技术交流群;
自动驾驶仿真:Carla仿真、Autoware仿真等技术交流群;
自动驾驶开发:自动驾驶开发、ROS等技术交流群;
其它方向:自动标注与数据闭环、产品经理、硬件选型、求职面试、自动驾驶测试等技术交流群;
扫码添加汽车人助理微信邀请入群,备注:学校/公司+方向+昵称(快速入群方式)
④【自动驾驶之心】平台矩阵,欢迎联系我们!