激光雷达or视觉感知，谁能顶峰相见？

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转自自动驾驶之心，只做学术分享，如有侵权，联系删文

自动驾驶绕不开的一个话题那就是激光雷达和摄像头到底哪个更出色，这个问题一直在行业内争论不休，两大派系各执一词，都能讲出一大堆的理由为什么用此非彼，其实要想明白为什么会有这个争论，我们就要先了解这两大技术路线背后的原理是什么，各自有哪些优势和不足。

自动驾驶将汽车的驾驶能力及驾驶责任逐步由人转移到汽车，其主要包括感知、决策和执行三大核心环节。

其中，感知环节相当于人的眼睛和耳朵，主要通过车载摄像头、激光雷达、毫米波达等各类车载传感器在行车过程中完成对环境及车辆的感知、搜集周围环境数据并将其传输到决策层；决策环节相当于人的大脑，主要通过操作系统、芯片与计算平台等对接收到的数据进行实时处理并输出相应的操作与指令任务；执行端则相当于人的四肢，将接收到的操作指令执行到动力供给、方向控制、车灯控制等车辆终端部分。

本次我们将着重说说感知层，因为感知作为智能驾驶的先决条件，其探测精度、广度与速度直接影响自动驾驶的行驶安全。并且感知层获取的数据将直接影响决策层的判断与执行层的操作，可见在自动驾驶中的地位至关重要。

激光雷达vs视觉感知，自动驾驶两大派系正面交锋

自动驾驶领域两个派系的划分——纯视觉感知派、激光雷达派。

视觉派认为人类既然可以通过视觉信息+大脑处理，成为一个合格的驾驶者。那么摄像头+深度学习神经网络+计算机硬件，也可以达到类似的效果。

近期代表企业特斯拉推出基于纯视觉方案的FSD Beta，彻底放弃毫米波雷达。百度发布L4级别纯视觉方案Apollo lite，同样踏上了自动驾驶的南坡之路。

激光雷达派则是以Waymo为代表的Robotaxi企业，使用机械式激光雷达、毫米波雷达、超声波雷达以及多路摄像头完成L4级别的商业量产落地。

纯视觉自动驾驶方案从产品分析，目前特斯拉的产品还处于L2的阶段，从今年第一季度的财报上看纯视觉自动驾驶方案是这样解释：目前道路交通系统是基于人类视觉感知神经网络，8个摄像头覆盖360°，比人类感知范围更大更安全；对现实道路的技术还有待突破，自动驾驶不会很快成为主流。

再看Apollo lite，2020年底百度发布高阶智能驾驶解决方案ANP（Apollo Navigation Pilot），宣称可以支持高速、城市环线、城市道路使用，搭载10路摄像头、具备360°环视感知，探测距离达240米，应用30+深度学习网络，单卡GPU，算力小于30TOPs。从L4应用降维至L2+级领航辅助驾驶，依靠10相机感知系统，实现不依赖高线数机械式激光雷达的端到端闭环自动驾驶。

激光雷达是一种用于精准获取物体三维位置信息的传感器，本质上是激光探测和测距，其原理是通过发射与接收激光来探测与目标物之间的距离，再根据目标物表面的反射能量大小、反射波谱幅度、频率和相位等信息，精确绘制出目标物的三维结构信息。而凭借着在目标轮廓测量、角度测量、光照稳定性和通用障碍物检出等方面所具有的极佳性能，激光雷达正在成为L4级及以上自动驾驶的核心配置。

3D激光雷达在无人驾驶车辆的定位、路径规划、决策、感知等方面有着重要的作用。2022-2025年之间预计绝大部分的主机厂会量产上激光雷达，从国际上看，沃尔沃和Luminar宣布量产，国内蔚来选择图达通的激光雷达作为ET7的标配；小鹏P5搭载了大疆旗下览沃的激光雷达；理想也与禾赛科技展开了下一代车型的合作。由此看来，激光雷达仍然是绝大多数企业走上自动驾驶的必经之路。

从技术特点的角度来看：

视觉方案中的图像传感器能以高帧率、高分辨率获取周围复杂的环境信息，且价格便宜。但图像传感器是一种被动式传感器，其本身并不发光，成像质量受到环境亮度影响较大，在恶劣环境下完成感知任务的难度会大幅提升。

激光雷达是一种主动式传感器，通过发射脉冲激光并探测目标的散射光特性获取目标的深度信息，具有精度高、范围大、抗干扰能力强的特性。但是，激光雷达获取的数据稀疏无序、难以直接利用，且激光单色的特性让其无法获取颜色和纹理信息，虽然对于周边环境测距描绘的能力突出，但却因为缺点太致命，所以必须搭配其它传感器互补使用。

从商业量产的角度来看：

目前激光雷达感知能力是略强于纯视觉的，很多主机厂商和一级供应商为加速量产落地，难免会通过过多使用激光雷达来回避视觉识别算法、芯片、定位建图等问题。

马斯克不止一次提过依赖激光雷达的公司都可能无任何出路，或许是跟激光雷达成本过高有关。

华为在年初宣布成功研发首款96线中长距车规级高性能激光雷达，具备全场景150米的测距能力，拥有120°*25°大视野，可以满足对城区、高速等场景的人、车测距要求。同时水平、垂直线束均匀分布，不存在拼接、抖动等情况，形成稳定的点云对后端感知算法也非常友好，满足远距离小障碍物、近距离加塞、近端突出物、隧道、十字路口无保护左拐、地库等复杂路况和独特场景，更符合中国当下复杂的路况环境。

价格号称从原本的2000美金一套降到200美金左右。特斯拉近期也做了对激光雷达的检测，不知纯视觉派会不会因价格优势的出现做出改变。

激光雷达与视觉感知的优劣对比，既对立又互补

到目前为止，小鹏、蔚来、理想、极狐、长城、智己、上汽R、Lucid、沃尔沃和广汽都已经明确将量产搭载激光雷达的车型，而首款搭载激光雷达的量产车小鹏P5也已经正式上市。

激光雷达的优势在于精度较高，探测距离远，可以在一些极端天气下和夜间做到比摄像头更高的精准度，防止车辆的误判，提升安全的冗余度。但目前仍存在成本较高、难以量产等问题。

目前激光雷达分为三类分别是机械式、混合固态式以及纯固态式。

这三类有各自的优缺点，例如机械式发展最成熟，扫描速度快可以360度全方位探测，但是由于其体积较大很难装车量产，造价也是一个大难题；混合固态成本低，适合大规模量产但是视野有限，360度就不行了；纯固态将是未来发展趋势，有OPA光学相控阵和Flash两种技术路线，但同样等待技术的进一步突破才能实现量产。目前来看混合固态中的MEMS路线将会是激光雷达发展的主流也是最容易实现前装量产的。

机械式、半固态式、固态式激光雷达特点

视觉方案所获数据与人眼感知的真实世界更为相似，有轻硬件、重软件的特性。由于摄像头的价格低廉，因此视觉方案成本优势明显且更易通过车规测试。此外，摄像头所获的图像数据与人眼感知的真实世界更为相似，形态上最接近人类驾驶，高分辨率、高帧率的成像技术也使得感知到的环境信息更为丰富。

然而，摄像头在黑暗环境中感知受限，精度及安全性有所下降。且由于视觉方案在硬件要求降低的背景下，其对软件的要求明显提高，即需要依靠强大的算法才能保证图像处理、命令下达以及处理的效率。

在ADAS阶段，决策权仍在在驾驶员手中，其对汽车的软件算法要求相对较低，以Mobileye为代表的视觉方案被多数整车厂采用。

然而，随着智能驾驶迈向L3及以上，自动驾驶平台将接替人的大脑进行驾驶决策，对算法和AI的能力要求明显提升，目前仅特斯拉、百度、Mobileye等具备软件和算法基因的厂商完全采用或兼顾视觉方案。纯视觉解决方案多以黑盒方案为主，且L3及以上自动驾驶升级难度大，传统整车厂搭载意愿不强。

特斯拉凭借“影子模式”与超强算法构筑自动驾驶迭代闭环，其他车企难以复制。特斯拉对汽车的定义是极简化、科技化，其一直在汽车上做减法，对车辆线束长度、零部件数量、生产制造工序都进行大幅下调。在感知方案的选择上，特斯拉贯彻成本更优的视觉方案，在Model3上采用12个超声波雷达、8个摄像头和1个前置雷达收集周边信息，通过其强大的融合算法迅速构建车辆周边的3D模型，在汽车行驶中做出快速决策。

由于2D图像对物体的左后角的检测（车长的判断）存在一定盲区，车辆尾部的倾斜与向上收窄的设计加剧了对整体宽度的低估，因此，视觉方案的关键便是通过算法根本上解决视觉信息的准确处理，将摄像头捕捉到的2D平面图像转换成精确的3D模型。特斯拉在自动驾驶领域的全栈自研以及其在“模式识别模型”领域的领先地位（即数据规模庞大、数据覆盖多样及数据场景真实）成为其贯彻视觉融合方案的护城河。

摄像头捕捉的2D图像难以判断车长

此外，特斯拉的“影子模式”可有效控制算法训练成本，这一模式下数据搜集系统如实时跟随驾驶员的“影子”，始终观察外部环境与驾驶员的动作。若在某个特定场景中驾驶员的操作与“影子”的预判不符，则此次数据会传输到特斯拉的服务器中，对算法进行修正性训练，在下次同场景时予以更正。

百度、Mobileye采用前装用视觉、Robotaxi用激光雷达的双线并行策略，优化其感知效果。在前装领域，全球AI算法领先企业百度于2020年12月推出名为ANP的“轻传感器、轻算量、强感知”视觉方案。在成本不敏感的Robotaxi领域，百度选择拥抱激光雷达，与激光雷达公司禾赛科技一起定制激光雷达，不仅提升了感知力和可靠性，成本也大幅下降。

另一方面，以纯视觉传感器方案闻名的Mobileye，通过7个长距摄像头和4个泊车摄像头打造了自己的视觉方案。其中，前置摄像头处于主要感知位，具备120度、800万像素性能，前、后则共布置4个角摄像头，侧后视镜、前后保险杠提供190度的广角摄像头。这些感知摄像头与数据处理端的2个EyeQ5芯片组成了Mobileye的纯视觉系统方案，支持汽车安全地行驶在错综复杂的城市环境中。

与此同时，公司亦宣布旗下Robotaxi将与著名激光雷达厂商Luminar合作，通过激光雷达、雷达与摄像头的配置综合提升其无人驾驶的感知精确程度，提高车辆行驶安全性与可靠性。可见激光雷达与视觉摄像头在现阶段还没有完全分出高下，多传感器冗余在目前来说是各家厂商比较保守的发展路线。

激光雷达价格不断下探，纯视觉派还要坚持多久？

曾经激光雷达的成本是非常高的，一套激光雷达设备一度最高能达到7.5万美金，让以马斯克为代表的纯视觉派万万没想到的是，激光雷达的成本比想象中降得更快。

近年来，随着激光雷达从机械式向固态式发展的趋势，激光雷达实现了快速的成本降低。其中OPA式的固态激光雷达在量产后有希望降到200美元以下。激光雷达成本的迅速下降更得益于中国相关产业链的成熟与完善，将成本迅速降低。特别是中游激光雷达已经有不少国产厂商如禾赛科技、大疆、华为、速腾聚创、镭神智能等。

激光雷达成本下降非常关键

之所以目前大部分车厂采用激光雷达方案，一个重要原因是此方案能够实现较快落地，并可通过多传感器配合实现安全冗余。尤其在短期内，纯视觉方案基于深度学习的算法尚未达到全路况覆盖情况下、安全性仍存疑，激光雷达方案安全性更高。

而我们回顾马斯克以往的所有有别于常人的举动，无论是SpaceX回收火箭，还是采用消费级元器件，又或是只用摄像头，其本质都是一点：降成本。

另外，纯视觉方案需要车厂掌握海量用户数据、并自己建立软件开发部门，算法开发难度极高，最早押宝的特斯拉可以拥有领先优势，形成技术壁垒。如果竞争对手都用纯视觉方案，那么只能一直跟在特斯拉的屁股后面追赶。

只是，马斯克唯一没有预料到的就是激光雷达的成本降得这么快，而竞争对手的量产车这么快就上市了。

马斯克曾经详细解释过他对雷达和摄像头的看法：在雷达波长下，现实世界看起来像一个奇怪的幽灵世界。除了金属，几乎所有东西都是半透明的。当雷达和视觉感知不一致时，你采信哪一个？视觉具有更高的精度，因此投入两倍的精力改善视觉比押注两种传感器的融合更明智。传感器的本质是比特流。摄像头比特/秒的信息量要比雷达和激光雷达高几个数量级。雷达必须有意义地增加比特流的信号/噪声，以使其值得集成。随着视觉处理能力的提高，摄像头的性能将会远远甩开当下的雷达。因此，当视觉与雷达不一致时，马斯克认为应该相信摄像头。

但马斯克聪明的是他也为自己留了后路，2021年1月1日前后，国外网友在硅谷拍到了一些不太多见的特斯拉车型，有Model S，有Model Y，也有Model X。均搭载了360度 覆盖的激光雷达感知系统。据一位前特斯拉工程师的说法，特斯拉采购Luminar的激光雷达由来已久，在摄像头做深度感知的时候，特斯拉会用激光雷达输出的点云数据做人工标注进行比对。

尽管马斯克多次表态，特斯拉从技术路径层面，不会搭载激光雷达。但行业里一直有一种相当高声量的意见认为，特斯拉不用激光雷达，无非是成本没有达到商业化的临界点。我们或许不用太把马斯克说过的话放在心上，毕竟他除了“钢铁侠、火星人”的标签之外，更多是一个成功的商人和营销大师。

写在最后

说一千道一万，汽车驾驶，安全可靠才是一切技术的前提，从现今的技术水平来说，采用安全冗余的传感器方案，不失为一种更为靠谱的方法，也能更能让用户安心、放心。不管是纯视觉方案还是雷达的方案，其实都各有优劣，很难用一种传感器打遍天下。

因此业界的普遍思路是：在一辆能够实现L2及以上功能的车上需要搭载多种传感器，进行大量的冗余设计，才能确保产品的安全可靠。目前公认的是，智能驾驶等级越高搭载传感器越多。

根据车型配置信息的相关统计，智能驾驶在L2需要9-19个传感器，包括超声波雷达、长距离及短距离雷达和环视摄像头，发展到L3预计需要搭载19-27个，可能需要激光雷达、高精度导航定位等。在目前在售的新势力汽车产品中，均配备了大量摄像头、毫米波雷达、超声波雷达等传感器。

因此，对于这两大派系来说也许未来真的会在顶峰相见，也没准会一直长期共存下去，毕竟安全是自动驾驶发展的基石与底线，在保证安全的情况下，各种技术路线之间的交融与淘汰都会让安全这件事的概率更接近100%，所以我们期待着视觉算法能进一步突破，变的更贴近人眼的水平；激光雷达产业更加蓬勃发展，让价格不断下探，更能符合前装量产的要求，让我们共同见证各家技术一起进步为自动驾驶的终极目标添砖加瓦吧。

声明：部分内容来源于网络，仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥，请联系删除。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~