人无远虑，必有近忧

在这个过程中，我们会根据真实世界对推测规律的反馈，来增加、删除和调整我们脑海中的基本元素，有些需要新增或者新发明（很多有用的数学概念和工具是纯粹的人类发明），有些需要抛弃（比如以太，比如燃素），有些基本元素需要调整，比如虚数概念起先认为是imaging想象的，后来发现其实是数平面上的二维坐标，完全是真实而非想象的。所谓4D 世界模型，意味着不仅要生成逼真的三维空间场景，还要准确地把握和生成时间维度上的变化，也就是三维物体的时间循序和时间速度，包括物体的运动、场景的动态演化等等。具体步骤如下两步：。

本文详细总结了具身智能中 VLA 的主流方案，包括基于经典 Transformer 结构、预训练 LLM/VLM、扩散模型、LLM + 扩散模型、视频生成 + 逆运动学以及不同类型的端到端方案。通过对各方案的开源项目和核心思想的介绍，对比了它们在模型架构、动作类型、训练目标等方面的特点，得出了相应的结论共识。同时，探讨了 VLA 面临的数据稀缺、运动规划、实时响应、多模态融合、泛化能力、长时域任务执行、基础模型、多智能体协作以及安全伦理等挑战，并展望了未来的发展方向。

EMMA基于多模态大语言模型（MLLM）构建，通过将所有非传感器输入（如导航指令和车辆状态）和输出（如轨迹和3D位置）表示为自然语言文本，最大限度地利用了预训练的大语言模型中的世界知识，在实现端到端运动规划基础上，通过混合训练，还将EMMA构建为一个通才模型，实现3D 世界感知，识别周围物体/道路图/交通条件等功能。浮夸与务实交织的行业生态，使得技术真伪的辨识愈发困难。需要强调的是，行业内常说的两段式端到端（即感知模型化＋预测规划模型化，但两个模型之间的接口仍然采用人为定义），不属于本文讨论的端到端系统。

在本文中，我们将深入探讨汽车品牌之间的从属关系，为您揭示各大汽车集团旗下的品牌版图。我们将梳理全球知名的汽车集团，如大众集团、丰田集团、宝马集团等，并详细介绍它们旗下的各个汽车品牌。通过本文，您将了解到不同品牌之间的归属关系，以及这些品牌在汽车市场上的定位和发展状况。此外，我们还将分析汽车集团通过多元化品牌策略实现市场竞争优势的方式，以及这种策略对消费者选择和汽车市场格局的影响。无论您是汽车爱好者还是行业从业者，相信本文都能为您提供有益的参考和启示。

自动驾驶涉及技术方方面面。一个成熟的自动驾驶系统主要分为软硬两部分，硬件包括但不限于计算单元、传输网口、传感器本身、网络设备，软件包括但不限于进行任务调度的基础软件、"灵魂所在"的算法模块以及"基础设施"高精度地图。当前公众意义认为的自动驾驶主要指：车上安装的传感器 + 自动驾驶算法。算法模块可以分为大感知(包括融合与预测)、定位、规划与决策、控制几个模块。本文对于以上几个模块总结了一些问题，并给出一些思考。1. 感知感知模块占据了算法模块接近70%的代码，是自动驾驶系统中基本的、重要的、庞

在这篇文章里，笔者将试图对自动驾驶中多目标跟踪（Multi-Object Tracking, MOT）领域近几年代表性的论文进行整理，分析各项工作的思路和做法，以便读者能够迅速了解这个领域的前沿动态。顺便，我也对MOT领域的公开数据集、排行榜、评价指标等做了整理，以作为面向初学者或跨行业者的基础知识。我们首先明确一下多目标跟踪的概念。多目标跟踪并不是一个新鲜词，二战期间雷达出现以后，利用雷达对敌方飞机进行跟踪和锁定，就是目标跟踪的早期应用；

由于不同国家和地区的车辆行驶环境的差异化，导致测试场景数据的具有很强的地域属性。大家可以想象一下，在美国地区测试完全安全的自动驾驶系统，如果放在中国这样交通环境更加复杂的国家去测试，系统必然会碰到之前没有遇到过的“CornerCase”，那么车辆的安全性将依然是没有保障的。一位仿真专业人士曾在他的文章里讲到过：“在自动驾驶仿真中，是很难有‘参数标定’这个过程的，因为‘真实试验’对安全员有高危性，并且很难执行，因此也就很难调整仿真的参数，没有标定好的参数，又很难预测真实结果，就像个死循环。

随着激光雷达的上车数量的不断攀升，如何用好激光雷达成为了重中之重，而用好激光雷达的关键点之一就在于处理好点云数据。激光点云指的是由三维激光雷达设备扫描得到的空间点的数据集，每一个点云都包含了三维坐标（XYZ）和激光反射强度（Intensity），其中强度信息会与目标物表面材质与粗糙度、激光入射角度、激光波长以及激光雷达的能量密度有关。为了更进一步解释清楚点云，笔者梳理了点云的相关参数和特点。

本篇博客作为自动驾驶软件工程课程系列的开篇之作，旨在为读者提供自动驾驶技术的全面而简洁的概述。博客首先介绍了自动驾驶的基本概念，包括其定义、发展历程以及当前的应用现状。随后，详细阐述了自动驾驶技术的核心组成部分，如传感器系统、决策规划、控制系统等，并解释了这些部分在自动驾驶车辆中的功能和作用。此外，博客还探讨了自动驾驶技术的潜在优势，如提高交通效率、减少交通事故、改善出行体验等，以及当前面临的技术挑战和法律法规问题。通过本篇博客，读者将对自动驾驶技术有一个初步的了解，为后续深入学习自动驾驶软件工程课程奠定基

高级驾驶辅助系统的传感器除了要保证探测范围的覆盖冗余度，在实际安装中，还要符合每个传感器和车辆的安装条件。本文介绍的传感器布置参数是基于某款车型、特定供应商传感器产品进行的总结融合。不同传感器供应商，对布置要求会有细微差异，在实际车型布置过程中，要结合供应商提供的布置要求，以及整车布置、造型，进行适应性调整。

这篇文章的重点不在于具体的软件架构，而在于软件架构的工程化落地。因为再好的架构，也需要变成真正可以稳定运行的产品才能体现其价值。而自动驾驶相关的软件系统关联了非常多的技术领域，每个技术领域有专门的知识体系，需要专门的人才，需要解决特定的问题。而完整的自动驾驶系统是需要所有相关的技术一起协同工作的，任何一个领域在技术或工程上的短板，都将影响整个系统的可用性、可靠性、安全性。

AVM（Around View Monitor），中文：全景环视系统。在自动驾驶领域，AVM属于自动泊车系统的一部分，是一种实用性极高、可大幅提升用户体验和驾驶安全性的功能。AVM已经是一种较为成熟的技术，中高端车型均有部署，但详细讲述AVM系统算法的技术博文并不多。作者在工作中搭建了一套AVM算法框架，有一些效果还不错的demo。撰写本文，主要是想将AVM算法框架中每个算子讲述清楚，与大家共同进步。本博文的风格为理论与实践结合，含有部分代码，适合有一些计算机视觉基础的同学。...

本文主要总结了我前段时间的工作，主要内容如下：FOV和BEV的常用方案，对两种视角在视觉检测技术与原理上进行对比，并总结两者的优缺点；两视角下的融合方案进行了总结：尤其是在当前学术界较为“冷门”的毫米波雷达(Radar) 与“热门”的激光雷达(lidar) 的融合方案进行对比，不同于激光雷达，编者提出了自认为较为合适的针对于Radar融合方案。FOV作为一种最接近人类的视角，拥有悠久的历史，如今的2D\3D object detection皆从FOV视角做起，感官上来说，FOV视角能够提供丰富的纹理信息、深

准确的传感器标定是实现智能车辆多传感器感知和定位系统的先决条件。传感器的内参标定是获取传感器内部的映射关系，外参标定是将两个或多个传感器转换为一个统一的空间坐标系。大多数传感器在安装后需要进行标定，以确保传感器测量的准确性......

已经进入了大众的视野。但是对于整个自动驾驶技术来说依然面临很多的挑战。其中Corner Cases的存在引发了很多安全问题，诸如特斯拉，小鹏等企业的量产车辆都发生过。Corner Cases又叫异常案例，常见的硬件遮挡，异常障碍物等都属于这个范畴。下面将按照部分文献的分类方式展开讨论。......

经过十多年的发展，敏捷软件开发已经从一种前卫的开发方式转变成为在各大软件公司中被广泛应用的主流技术，变成了互联网行业的一种潮流，而随着软件定义汽车等概念的兴起，软件在一辆汽车中的价值正在不断增加。电动化、网联化、智能化、共享化的背后都需要强大的软件能力作为支撑，而软件能力不仅体现在构建出高质量的软件产品上，同时还体现在软件产品的快速迭代以满足快速变化的市场需求的能力之上。这样的变化无疑给汽车软件开发带来了新的挑战，同时也带来了巨大的机遇，新玩家纷纷入场，期望在软件和用户体验上赢得市场，而传统的汽车制造商则正

对于整车OTA类型，主要分为两类，FOTA（Firmware-over-the-air）和SOTA（Software-over-the-air），两者均为主机厂重点关注及逐步落地的领域，可适应不同场景的OTA需求。1. FOTA和SOTA概述FOTA通过给车辆控制器下载安装完整的固件镜像，来实现系统功能完整的升级更新。例如升级车辆的智驾系统，让驾驶员享受越来越多的辅助驾驶功能；升级车辆的座舱系统，提高驾驶员疲劳检测的准确率；升级车辆的制动系统，提升车辆的制动性能。特斯拉曾在Model 3在上市后，发

AVP，全称Automated Valet Parking，中文名“自主代客泊车系统”。作为自动驾驶在泊车场景下的应用，AVP实现的是全自动代客泊车功能，最终目标是取代传统的人工代客泊车，帮助用户节省大量的停车时间，解决高峰期排队停车的痛点。

多传感器融合（Multi-sensor Fusion, MSF）是利用计算机技术，将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合，以完成所需的决策和估计而进行的信息处理过程。1. 基本原理多传感器融合基本原理就像人脑综合处理信息的过程一样，将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。在这个过程中要充分利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。这不仅是

1. 基于模型的设计基于模型的设计方法（MBD，Model Based Design）采用图形化设计和自动化代码生成，不同于基于手工编程和纸上规范的传统编程方法，具有如下优点：在统一的开发测试平台上，允许从需求分析阶段就开始验证，并做到持续不断的验证与测试； 产品的缺陷暴露在产品开发的初级阶段，开发者把主要精力放在算法和测试用例的研究上，嵌入式代码的生成和验证则留给计算机去自动完成； 大大缩短了开发周期与降低开发成本。基于模型的设计方法的不同阶段，分别采用MIL/SIL/PIL/HIL等测试方

我要说的是Tesla AI day上他们的视觉方案，其核心模板的名字也叫HydraNet，很多设计非常有启发性，想和咱们自动驾驶从业者以及爱好者一起来学习交流下。说一句Tesla牛逼！各个模块的负责人都是行业大牛！！其中CV界华人大佬的Fei-Fei Li的学生Andrej Karpathy博士就是我今天要说的这个视觉模块的主讲人。话不多说，要看懂这个方案我们首先明确一下：Tesla视觉系统的输入和输出↓图一，Tesla视觉感知系统的输入和输出Tesla的视觉系统由8个摄像头环绕车身，视

对于自动驾驶车辆来说，安全的重要性毋庸置疑，为了恰当评价从而确保自动驾驶车辆的安全性，各国家、公司和组织已经开始努力开发一个自动驾驶安全框架或至少部分框架，以指导ADS的安全测试和部署。1. RAND公司《衡量自动车辆安全：构建框架》兰德公司（RAND）2018年发布了一份自动驾驶安全衡量框架的报告Measuring Automated Vehicle Safety: Forging a Framework，提出了一个用于测量配备ADS自动驾驶系统的车辆安全性的部分框架。在开发该框架时，考虑了如何定

从软件上，包括感知数据处理的感知层，对车辆运动规划、决策的规划层、对执行器精准控制的控制层。这种情况下，一般采用相对定位方法，通过里程计法推算实现短时间辅助定位，常用的基于惯导IMU，也有通过车轮、相机、激光雷达推算。进行各传感器数据融合，充分发挥各自优势，提高感知冗余、准确、时效性，感知融合技术广泛应用，典型算法有卡尔曼滤波、贝叶斯理论等。从硬件上，自动驾驶系统包括：收集各种信息输入的传感器，对输入信息进行处理、对车辆运动进行规划和控制的计算平台，以及实现转向、制动、加速的底盘执行器。

自动驾驶正成为影响未来行业的关键技术，传感器是自动驾驶系统中感知外部世界的关键，其协作性能直接决定自动驾驶车辆的安全性。本文主要讨论了近年来自动驾驶中多传感器融合的不同策略。分析了常规传感器的性能和多传感器融合的必要性，包括radar、激光雷达、摄像机、超声波、GPS、IMU和V2X。根据最近研究中的差异，将融合策略分为四类，并指出了一些不足之处。传感器融合主要应用于多目标跟踪和环境重建，论文讨论了多目标跟踪中建立运动模型和数据关联的方法。最后，作者分析了当前研究中的不足，并提出了未来进一步改进的建议。通过

2009年谷歌(Waymo)自动驾驶事业正式开始，但实际上谷歌的自动驾驶可以追溯到2005年第二届DARPA无人驾驶挑战赛，已有了十几年的历史，目前也是自动驾驶领域的标杆企业，不过Waymo也经历了各种坎坷，包括早期领导人职业操守严重不足，跟车企合作被鄙视，骨干员工加入竞争对手等。Waymo在超过25个城市的公共道路上行驶了超过2000万英里。另外还在模拟环境中行驶了数百亿英里。此外，Waymo正在美国经营L4自动驾驶出租车服务，真正的在没有司机的情况下运送乘客。

本文围绕数据采集与管理展开深入探讨。详细阐述了数据采集的多种方法和技术，包括传感器应用、网络爬虫、数据库抽取等。同时，对采集后的数据管理策略进行了全面分析，涵盖数据清洗、存储架构、安全保障以及数据质量监控等关键环节。旨在为读者提供一套完整的数据采集与管理的知识体系和实用指南。 在系统迭代开发过程中，我们很难搞清楚未来系统会迭代成什么样。如果数据采集模块里加了信息有损的预处理，等未来想要从数据中获取更多的信息时才发现之前的数据都白采集了。即使无损的预处理也最好别加在数据采集模块里，尽量把它加在数据的消费者那里

算法与数据双轮驱动才能实现更成熟的自动驾驶技术，也是自动驾驶技术落地的必然选择。随着时间的推移，各家公司在算法方面的差距会逐渐缩小，真正影响自动驾驶技术水平的其实是数据，海量数据会助力自动驾驶技术再上新台阶。但如何获得海量数据呢？技术团队雇人采集数据是一个高成本的行为，采集海量数据的成本将是天文数字。一个较为可靠的办法是利用车厂汽车前装传感器不断采集数据，形成数据闭环，但这个数据如何上传又是一个棘手的问题。

随着电动车的EE架构从分布式向集中式演进、自动驾驶等级从L2向L2+、NOA/NOP乃至L4演进，系统对自动驾驶OS（操作系统）的要求也越来越高。并且，由于事关生命安全，自动驾驶OS对实时性及可靠性的要求要远高于车载娱乐系统的OS。OS的价值主要在于可以更好地分配、调度运算和存储资源，但在分布式EE架构下，各ECU基本只处理某一项单一任务，并不存在资源“分配和调度”的需求；甚至连Mobileye的EyeQ 3和EyeQ 4，也只是跑单任务的ASIC，只需要处理摄像头的数据，因此，用Tier 1的MC..

在线标定设计为何需要标定不同传感器需要协同使用，故需要把它们的数据放在同一坐标系，这时就需要坐标系的转换关系，也就是标定关系，所以需要进行标定为何需要在线标定传感器标定分为出厂标定和在线标定。出厂标定可以花高额的成本建造标定场地、制作标定工具、雇佣专业的标定人员进行流水化作业，故出厂精度高、可靠性强，且由于规模化成本反而低。汽车出厂后，在实际的运行过程中可能由于温度、温度的变化以及车体的机械震动、外部撞击等原因导致传感器之间的位姿关系变了，这时就需要重新标定。如果再走一次出厂标定，成

单一传感器获得的信息非常有限，而且，还要受到自身品质和性能的影响，因此，智能机器人通常配有数量众多的不同类型的传感器，以满足探测和数据采集的需要。人们提出了多传感器融合技术多传感器融合又称多传感器信息融合，有时也称作多传感器数据融合。以增加各个传感器之间的信息互通，提高整个系统的可靠性和稳健性，增强数据的可信度，提高精度，扩展系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。随着机器人技术的不断发展，机器人的应用领域和功能有了极大的拓展和提高。智能化已成为机器人技术的发展趋势，而传感器..

这是一项非常大的优势，目前换电速度远快于充电速度；但随着充电技术不断提升，充电速度越来越快，该优势可能会逐渐被淡化。

基于信号处理的故障诊断方法的基本思想是受故障影响的测量信号与正常运行时的测量信号具有不同的特征，如果能够提取与故障相关的特征，即可判断出系统中发生了故障。基于人工智能方法进行故障诊断的主要研究思路可以大致分为两种：一种是基于模型近似的诊断思想，另一种是基于模式识别的诊断思想。根据诊断原理的不同可以将基于数据的方法分为基于统计分析的方法、基于信号处理的方法和基于人工智能的方法。基于模型近似的诊断方法主要是从正常运行的历史数据中学习无故障系统的模型，作为故障检测的依据。

智能汽车行业犹如武林江湖，人来人往之中已渐成不同派系。目前的智能汽车市场角逐，玩家们大致可被分为四派：新势力派、传统车企派、互联网派和智能手机派。新势力派以特斯拉、小鹏、蔚来、理想等为代表，他们引领行业变革，善于本质创新，也是目前二级市场最看好的派系;传统车企派以丰田、大众、通用等为代表，他们制造基础厚实，品牌名声在外，竞争力不小；互联网派以百度、滴滴、阿里等为代表，他们携海量流量多面出击，掘金细分市场。智能手机派以苹果、小米、索尼等为代表，他们沉淀较少但资源繁多，擅长技术迁移；有人提到

LKA(Lane Keeping Assist)车道保持辅助包括三项子功能：车道偏离预警LDW(Lane Departure Warning)、车道偏离预防LDP（Lane Departure Prevention）和车道居中控制LCC（lane centering control），三项子功能的具体描述为：车道偏离预警LDW：在车辆发生无意识偏离车道时，通过声音、视觉和振动等方式向驾驶员发出预警； 车道偏离预防LDP：为LDW功能的扩展，在车辆发生无意识偏离车道时，在快要驶离之前，通过施加适当的

1. 关于自动驾驶基础架构基础架构在互联网行业中，是一个相对比较成熟的领域。然而在自动驾驶领域，却是一个新鲜的话题。基础架构的工作包括硬件、onboard（车载系统）、云端三大板块。在我们认为，自动驾驶领域中 “基础架构” 的核心价值，是为自动驾驶提供恰到好处的、全方位的技术保障。在自动驾驶系统中，如果说感知是眼睛，规划是大脑，那么基础架构就是神经系统，将自动驾驶软件系统与车辆紧密的联系在一起。自动驾驶中的基础架构相关工作然而在近几年的探索中，我们发现随着自动驾驶技术的演进，种种基于安.

本文将深入探讨智能驾驶技术的核心——软件。我们将从智能驾驶系统的整体架构出发，阐述软件在其中的关键作用。通过对智能驾驶软件的主要组成部分和功能模块的详细介绍，包括感知、决策、控制等方面，帮助读者全面理解软件如何驱动智能驾驶系统的运行。此外，我们还将探讨智能驾驶软件的发展趋势和挑战，分享一些最新的技术进展和案例，为智能驾驶软件的开发和应用提供有益的参考和启示。

作者在与自动驾驶同行们讨论时，发现目前大家普遍都认同“普通场景下的自动驾驶已经比较完善了，目前主要的难点在于一些corner cases”。在技术不出现质变的情况下，如何处理corner cases就是目前面临的主要难题了。无人车在真实环境下，测试的场景越多，算法和模型就越完善，通过不断的迭代来慢慢逼近自动驾驶的最高皇冠。1.以有涯随无涯，殆已早在二千多年前庄子就发表了"以有涯随无涯，殆已"的哲学观点，目前自动驾驶面临的问题就是极端场景非常多，短时间无法穷举，不管是基于规则的方法还是基于模型..