梳理下特斯拉的自动驾驶计算&域控平台

作者 | eyesighting  编辑 | 汽车人

原文链接：https://zhuanlan.zhihu.com/p/641289190

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

本文只做学术分享，如有侵权，联系删文

点击进入→自动驾驶之心【全栈算法】技术交流群

前言

本文总结了Tesla自动驾驶域、信息娱乐域的硬件方案，从HW1.0、HW2.0、HW2.5，到HW3.0，再到HW4.0。可作为自动驾驶计算&域控平台学习、研发的参考资料。

1. Tesla HW

1.1 HW 4.0

性能参数

SOC：FSD 2代 * 2；

CPU：三星Exynos IP、CPU频率2.35GHz、闲时1.37GHz、20个CPU、每4个CPU一个集群、5个CPU集群；

AI：3个神经网络 (NN)处理器、NN处理器频率2.2 Ghz，NN可提供50 TOPS的算力；

操作系统：Linux内核5.4.161-rt67；

相机：12个，1个备用；

图像传感器：三星；

内存：美光DDRM 16GB * 8；

参考资料

随着 HW4 车型终于获得停车辅助系统，特斯拉硬件 4.0 雷达套件被拆除：https://www.notebookcheck.net/Tesla-Hardware-4-0-radar-kit-gets-torn-down-as-HW4-models-gain-Park-Assist-at-long-last.725568.0.html

即将推出的 Model X 的 Tesla 自动驾驶硬件 4 (HW4) 拆解揭示了重大升级和整合的 AMD CPU-GPU 信息娱乐板，目前的 Tesla 汽车无法进行改装：https://www.notebookcheck.net/Tesla-self-driving-Hardware-4-HW4-teardown-from-upcoming-Model-X-reveals-significant-upgrades-and-consolidated-AMD-CPU-GPU-infotainment-board-no-retrofit-possible-in-current-Tesla-cars.695921.0.html

Tesla HW 4.0 博客：https://www.notebookcheck.net/New-Tesla-HW4-computer-analysis-confirms-it-won-t-fit-older-models-but-will-save-Tesla-millions-in-AMD-chip-integration.697443.0.html

Tesla Hardware4-完整详细信息和最新消息：https://www.autopilotreview.com/tesla-hardware-4-rolling-out-to-new-vehicles/

1.2 HW 3.0

FSD介绍

完全自动驾驶芯片（FSD芯片，以前的Autopilot Hardware 3.0）是特斯拉设计的自动驾驶芯片，于2019年初推出用于自己的汽车。特斯拉声称该芯片针对的是4 级和 5 级自动驾驶。FSD 芯片采用三星14 nm 工艺技术制造，包含 3 个四核Cortex-A72集群，总共 12 个运行频率为 2.2 GHz 的 CPU、一个运行频率为 1 GHz 的 Mali G71 MP12 GPU、2 个运行频率为2 GHz 的神经处理单元以及各种其他硬件加速器。FSD 支持高达 128 位 LPDDR4-4266 内存。

性能参数

SOC：FSD 1代 * 2；

CPU：3个四核Cortex-A72集群、总共12个CPU、运行频率为2.2GHz；

AI：2颗神经网络加速器，可提供36 TOPS的算力，三星14 nm工艺；

神经网络处单元

FSD 芯片集成了两个定制设计的神经网络处理单元。每个 NPU 均包含 32 MiB SRAM，专为存储临时网络结果而设计，从而减少向主内存的数据移动。整体设计非常简单。每个周期，256 字节的激活数据和额外的 128 字节的权重数据从 SRAM 读取到 MAC 阵列中，并在其中进行组合。每个 NPU 都有一个 96x96乘法累加器阵列总共 9,216 个 MAC 和 18,432 个操作。对于 FSD 芯片，Tesla 使用 8 位乘 8 位整数乘法和 32 位整数加法。这两种数据类型的选择很大程度上是为了降低功耗（例如，32 位 FP 加法的功耗大约是 32 位整数加法的 9 倍）。在 2 GHz 下运行，每个 NPU 的峰值性能为每秒 36.86 万亿次操作 (TOPS)。FSD 芯片的每个芯片上有两个 NPU，综合峰值性能每秒可执行高达 73.7 万亿次操作。在点积运算之后，数据被转移到激活硬件、池硬件，最后进入聚合结果的写入缓冲区。FSD 支持多种激活函数，包括修正线性单元(ReLU)、Sigmoid 线性单元(SiLU) 和 TanH。每个周期，128字节的结果数据被写回SRAM。所有操作都是同时连续完成的，重复进行直到整个网络完成。

图像信号处理器

FSD 将图像信号处理器 (ISP) 与内部 24 位管道相结合，旨在处理 Tesla 汽车上配备的 8 个 HDR 传感器，每秒能够处理高达 10 亿个像素。ISP 具有色调映射功能，允许芯片暴露由于亮点/暗点（例如阴影）而产生的额外细节。此外，ISP 还具有降噪功能。

参考资料

Tesla硬件3（全自动驾驶计算机）详解：https://www.autopilotreview.com/tesla-custom-ai-chips-hardware-3/

FSD Chip - Tesla：https://en.wikichip.org/wiki/tesla_(car_company)/fsd_chip

深入理解 Tesla FSD 第 2 部分：向量空间：https://saneryee-studio.medium.com/deep-understanding-tesla-fsd-part-2-vector-space-2964bfc10b17

1.3 HW 2.5

AP2.5 的硬件将于2017 年 8 月左右至 2019 年 4 月左右安装在 Model S、X 和 Model 3 车辆上。该硬件也是由Nvidia公司开发的，是在AP2的基础上进一步开发的。与 AP2 的区别在于更多的计算机能力、额外的冗余布线、不同的前置雷达和更好的摄像头。AP2.5并不是全新的设计，而是AP2的优化。AP2.5硬件使用带RCCB的摄像头。8个滤镜，而AP2仍然使用带有RCCC滤镜的相机。

性能参数

SOC：NVIDIA Drive PX2；

Camera：8颗摄像头；

Radar：1颗前置毫米波雷达/大陆；

USR：12颗远程超声波传感器；

功能：行车记录仪、哨兵模式

Nvidia Drive PX 2 基于一两个Tegra X2 SoC，其中每个 SoC 包含 2 个 Denver 内核、4 个 ARM A57 内核和一个 Pascal一代GPU 。

1.4 HW 2.0

AP2 的硬件已于2016 年 10 月至 2017 年 8 月左右安装在 Model S 和 X 车辆中。该硬件由 Nvidia 公司开发。与AP1相比，AP2的计算单元的计算能力是其前身的40倍。这个硬件版本的自动驾驶仪有 8 个带有 RCCC 滤色镜的摄像头，可以显示车辆周围的 360 度视图。改进的超声波传感器和前面的雷达补充了摄像机图像中的信息。配备 AP2 硬件的 Model 3 车辆并不存在，因为特斯拉在 Model 3 开始生产之前就开始在其新车中仅安装 AP2.5 硬件。因此，所有 Model 3 车辆都至少配备 AP2.5。

性能参数

SOC：Drive PX2；

Camera：8颗摄像头；

Radar：1颗前置毫米波雷达/博世；

USR：12颗远程超声波传感器；

1.5 HW 1.0

AP1的硬件于2014年10月至2016年10月安装在Model S和X车辆中。由MobilEye公司在EyeQ3系统下开发的。该硬件基于黑白前置摄像头、超声波传感器和前置雷达。由于缺乏全方位可视性，摄像机不可避免地无法实现360°视角。使用这种硬件永远不可能实现完全自动驾驶。AP1 是迄今为止特斯拉车辆中唯一具有交通标志识别功能的自动驾驶仪。随后在配备 AP1 硬件的车辆中激活此自动驾驶选项的费用为 3100 欧元。

性能参数

SOC：EyeQ3 * 1；

Camera：单颗EQ3系列摄像头；

Radar：单颗毫米波雷达；

USR：12个中程超声波雷达；

2. Tesla IVI

Tesla信息娱乐系统/座舱芯片发展历程：

2.1 IVI 3.0

Tesla第三代座舱SOC基于AMD的Ryzen CPU和Redaon GPU。

CPU：AMD Ryzen

GPU：AMD Redeon

2.2 IVI 2.0

Tesla第二代座舱芯片基于Intel的A3950处理器。

2.3 IVI 1.0

Tesla第一代座舱芯片基于NVIDIA的Tegra3处理器。

NVIDIA 的 Tegra 3（代号“ Kal-El ”）在功能上是一款带有四核ARM Cortex-A9 MPCore CPU 的 SoC，但在 Nvidia 所称的“可变SMP架构”中包含第五个“配套”核心。虽然所有内核均为 Cortex-A9，但配套内核采用低功耗硅工艺制造。该内核对应用程序透明地运行，用于在处理负载最小时降低功耗。在这些情况下，CPU 的主要四核部分会关闭。Tegra 3 是第一个支持 ARM SIMD 扩展NEON的 Tegra 版本。Tegra 3 中的 GPU 是 Tegra 2 GPU 的演变，具有 4 个额外的像素着色器单元和更高的时钟频率。它还可以输出高达 2560×1600 分辨率的视频，并支持1080p MPEG-4 AVC/h.264 40 Mbit/s High-Profile、VC1-AP 以及更简单形式的 MPEG-4（例如 DivX 和 Xvid）。

总结

Tesla自动驾驶软硬件方案一直都在行业领先位置。

HW5.0也快要发布了。

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！