人无远虑，必有近忧

世界模型和视频生成是自动驾驶领域的关键技术，每项技术在提高自动驾驶系统的鲁棒性和可靠性方面都发挥着至关重要的作用。模拟真实世界环境动态的世界模型和产生逼真视频序列的视频生成模型正越来越多地被整合，以提高自动驾驶汽车的态势感知和决策能力。本文研究了这两种技术之间的关系，重点研究了它们的结构相似性，特别是在基于扩散的模型中，如何有助于更准确、更连贯地模拟驾驶场景。我们研究了JEPA、Genie和Sora等领先工作，这些工作展示了世界模型设计的不同方法，从而突显了世界模型缺乏普遍接受的定义。

关于车辆的全景环视系统网上已经有很多的资料，然而几乎没有可供参考的代码，这一点对入门的新人来说非常不友好。全景环视系统，又称AVM。在自动驾驶领域，AVM属于自动泊车系统的一部分，是一种实用性极高、可大幅提升用户体验和驾驶安全性的功能。AVM汽车环视影像系统如图所示，由安装在前保险杠、后备箱、后视镜上的四个外置鱼眼相机构成。该系统包含的算子按照先后顺序：去畸变、四路鱼眼相机联合标定、投影变换、鸟瞰图微调、拼接融合、3D模型纹理映射等。下面我们将围绕着算子的先后顺序来对AVM进行介绍。

本文通过对特斯拉Autopilot技术的深入剖析，探讨了车载计算平台所面临的技术挑战以及未来的发展趋势。接着，我们重点探讨了车载计算平台在硬件架构、软件算法以及数据处理等方面所面临的挑战，并分析了这些挑战对自动驾驶技术发展的影响。最后，我们展望了车载计算平台的未来发展趋势，包括更高性能的计算硬件、更优化的软件算法以及更智能的数据处理技术等。通过本文的阐述，读者将能够更深入地了解特斯拉Autopilot的技术内涵，以及车载计算平台在自动驾驶领域的发展趋势和挑战。

在实际工作中，自动驾驶的数据是非常重要的， 如何高效低成本的获得高质量的数据集成为了自动驾驶企业的核心竞争力。随着自动驾驶感知技术的不断发展，对于标注的要求也越来越高，很多标注任务也越来越难。Camera/Lidar 联合标注，3d 语义分割，最近大火的多Camera BEV，如何向特斯拉那样，完成vector space 的自动化标注，目前也没有看到有哪个国内公司能做的。

传统数学方法，采用求反射梯度与地面对比的思路，对于高度有差别的平面难以识别（如低矮路沿），分割出的地面不是很合适。论文提出一种鲁棒性很强的分割方法，基于 Patchwork 的思路进行改进，自适应地调整参数，效果提升明显，运行速度极快。对地面分割做数学建模：对于所有的点云表示为，对点集进行二分类，分为G地面和N非地面，其中包括车辆，行人，植被，墙体等。

首先介绍一下4D-Label技术。4D主要就是3D空间和时序。以BEV为代表的感知技术，典型的特征就是输出的空间从2D的透视图像转换到了3D空间。原先都是在图像空间里，输入的是图像，输出的也是2D图像像素空间的信息，也就是所见即所得。但BEV感知技术输入的是2D的图像或者是2D的video，输出的是3D空间的感知结果，通常是以车体坐标系之下的一些3D静态或者动态的结果。对于BEV感知，真值数据的生成是非常关键的环节，因为标注的空间需要从2D透视图像空间转换到3D空间。其中，考虑到时序动态物体，需要用到一项很

先前的CamRadar后/目标融合策略，无法满足高阶/L3自动驾驶对功能、性能、实时、安全、鲁棒的要求。成熟的、鲁棒、高性能、高精度的基于时序的、基于BEV/Transformer/Occupancy的CamRadar前融合方案会是低成本、高阶ADAS产品落地的关键。

准确率与召回率交通灯的检测有一定的难度，但更难的是交通信号的识别，亦即是红灯、绿灯还是黄灯。自动驾驶软件工程课程系列4：目标检测以及传感器融合。

在高等级智能驾驶领域，除了特斯拉和mobileye走的是纯视觉技术路线外，其他大多数玩家走的还是多传感器融合的技术路线。多传感器融合方案，一方面能够充分利用不同工作原理的传感器，提升对不同场景下的整体感知精度，另一方面，也可以在某种传感器出现失效时，其他传感器可以作为冗余备份。目前多传感器融合方案，主要有后融合（目标级融合）、前融合（数据级融合）和中融合（特征级融合）三种。所谓后融合，是指各传感器针对目标物体单独进行深度学习模型推理，从而各自输出带有传感器自身属性的结果，并在决策层进行融合，这也是当前的主流

目标跟踪从两个维度来展开: 基于视觉的目标跟踪和基于多传感器融合的目标跟踪。1. 基于视觉的目标跟踪一般将目标跟踪分为两个部分:特征提取、目标跟踪算法。目标跟踪的算法大致可以分为以下五种：均值漂移算法，即meanshift算法，此方法可以通过较少的迭代次数快速找到与目标最相似的位置，效果也挺好的。但是其不能解决目标的遮挡问题并且不能适应运动目标的的形状和大小变化等。对其改进的算法有camshift算法，此方法可以适应运动目标的大小形状的改变，具有较好的跟踪效果，但当背景色和目标颜色接近时，容易使

Tesla AI Day过去已经4个多月，其介绍的很多前卫理念和超级详细的技术方案细节都成为全球自动驾驶从业者津津乐道的话题与专研的方向。这段时间以来我重复看了几遍AI Day的视频资料，也看了不少中英文分析解读的文章，一直希望能找机会把我对AI Day的理解和解读写成文章分享出来，可是因为拖延症一拖再拖，虽然拖了这么久，可至今AI Day上Tesla展现的技术创新仍旧走在自动驾驶视觉感知技术的最前沿，所以希望通过这篇文章能够让更多人了解如今自动驾驶车端感知技术的前沿发展动态。Tesla FSD Be

Tesla的数据标注系统经历了这样由人工标注到自动标注，再到仿真的过程，确实给我们提供了很好的借鉴，不仅仅能应用在自动驾驶领域，也能应用到在其他CV相关的方方面面！通过这套系统可以看到Tesla拿掉毫米波雷达，坚持纯视觉的底气。Tesla的方案除了可供学习之外也启迪我们：在CV算法已经比较成熟的今天，单一算法的提升并不能带来太多改变，

做深度学习和计算机视觉的同学可能比较熟悉ImageNet、MS COCO、Cityscapes等著名的公共数据集，这些数据集主要面向于2D图像上的感知任务，也是直接在2D图像上直接标注的。但是到了自动驾驶时代，所有的感知任务最终都要在现实的3D世界中应用，数据集的规模也不再是几万张、几十万张，或者几百万张图片，与之前的情况已不可同日而语，自然面临了更多更复杂的问题。Autopilot Software主管Ashok Kumar Elluswamy介绍4D自动标注，数据仿真以及数据和模型的迭代。整个数