惊艳！！！特斯拉端到端演示视频分析

作者 | 王峰  编辑 | 3D视觉之心

原文链接：https://zhuanlan.zhihu.com/p/684731944

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心『端到端自动驾驶』技术交流群

本文只做学术分享，如有侵权，联系删文

外网有用户放了一段特斯拉FSD v12的视频，有人搬运到b站上了：

https://www.bilibili.com/video/BV1Z6421M797www.bilibili.com/video/BV1Z6421M797

这次恰好还是纯视觉比较难做的场景：雨天地面有积水，积水反射的各种图案可能会产生一些奇奇怪怪的occupancy。由于特斯拉去年也没有开ai day（说是友商总是一帧一帧地抠他们的ppt，干脆不开了），在没有详细信息的情况下，从视频里可以窥见一些端到端的特性，下面针对其中一些有意思的地方分析一下。

01:57，误检车门打开，大幅度绕行：

这里倒是问题不大，左侧有比较大的空间，所以多绕一点也无所谓了。

02:09，误检occ导致几乎刹停：

这里行人已经走了所以可以起步了，但地面有较多积水，反射地面以上的物体导致occ误检，又停了一会才起步。

04:40，近距离cutin车辆漏检

这里左侧非常近距离的倒车cut-in车辆漏检了，但planning似乎并没有给出起步的意图，这里体现出了端到端的一大优势：上游出错的结果并不一定会导致错误的驾驶行为，后面我们还会看到更多类似的例子。

05:37 误检occ

这里可能也是地面积水产生的occ吧，端到端采信了这个结果，左右乱打方向盘，一会向左一会向右。

05:48，左右近距离occ误检

在左右非常近的位置出现了occ误检，如果还是按规则来写可能就得报接管了（也不一定，毕竟没有在行驶轨迹上），这里端到端直接无视了这两坨occ，继续开。

06:57，正前方近距离行人误检

这个是真的牛逼，脸上刷出来一个行人，所有基于规则的规控此时一定会急刹+警报了，但端到端模型并不认可上游的结果，照常行驶。

14分：在一个私人停车场里打转出不去了

这里可能是BEV的感知距离不够的问题，迟迟没有找到出口，在一个停车场里打转。。

其他的片段就都是主路上行驶了，到了主路上FSD v12的表现很丝滑，没有什么大问题，尤其是夜晚看车道线的检测也是非常稳定的，不过我觉得大部分厂家也能做到这样的水平，就不多提了。

单看停车场这一段，如果不看上游的结果的话，除了那个正前方occ误检导致左右乱打方向盘，FSD v12的轨迹还是比较丝滑的，即使有错误也没有被卡住的情况。在这样一个有行人、有不规则移动障碍物（手推车）、地面有积水的场景中表现也确实还可以。

特斯拉使用的还是有中间模块监督的多任务端到端，所以前端仍然可以显示出来obj det和occ的结果。但是端到端里的规控并不一定会采信上游的结果，近距离漏检了不一定会起步撞车，近距离误检了也不一定会刹停，所有的结果都输入到pnc里综合判断。这确实是比较有意思的一点，可以确定的是马斯克并没有说谎，这的确是一个端到端系统才会有的表现。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近2700人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦2D/3D目标检测、语义分割、车道线检测、目标跟踪、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、在线地图、点云处理、端到端自动驾驶、SLAM与高精地图、深度估计、轨迹预测、NeRF、Gaussian Splatting、规划控制、模型部署落地、cuda加速、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！