谈谈事件相机在自动驾驶领域的应用前景（下）

最新推荐文章于 2024-06-17 00:00:07 发布

SOA开发者

最新推荐文章于 2024-06-17 00:00:07 发布

阅读量1.3k

点赞数

文章标签：自动驾驶人工智能物联网

原文链接：https://mp.weixin.qq.com/s/OqXQcP5B5m1oeHA7iBpDow

版权

内容来源：九章智驾作者：奚少华

二、商业模式与竞争格局

2.1 产业链上下游概况

事件相机产业链的情况与传统帧相机几乎是相同的，主要包括上游是零部件供应商（镜头组零部件、胶合材料、图像传感器芯片等）、中游是模组供应商与系统集成商等、下游是主机厂。

产业链中的不同之处主要是在图像传感器芯片、算法软件，比如更适合事件相机的芯片是类脑芯片、更适合的算法则是脉冲神经网络。

2.2 商业模式

当前事件相机的商业模式还没有完全成熟，产业链的各个玩家都在探索适合自己商业化之路，初创型科技企业和大型Tier 1企业根据自身的实际情况，各有不同的商业模式。

（1）初创型科技企业短期内以提供一整套解决方案为主，而中长期方向会专注于自身主业。

从短期内来看，在整个事件相机产业尚未成熟前，初创型科技企业无法找到合适的供应商，所以他们通常会覆盖整个产业链工序，包括芯片、算法、软件、模组。比如一家芯片公司，会联合相机模组或整机的合作伙伴，配合上自己的芯片，与最终客户共同开发在特定应用场景下的应用。

一方面，客户还没有找到事件相机合适的落地场景前，他们不会投入多余的人力、物力、财力在算法的开发上；另一方面，事件相机算法的门槛较高，对应场景的算法开发也需要一定的经验和数据的积累。

从中长期来看，这些事件相机的初创企业还是会向着软硬件解耦的模式去发展，即各家只做自己擅长的部分，并随着整个产业的工业化成熟度越来越高后，产业分工会越来越明确。

（2）大型Tier 1企业，比如索尼，只会提供芯片，而把算法、软件、模组等外包给第三方。

一方面，在市场体量不够大的情况下，提供解决方案会使相机的成本提高，不利于市场推广；另一方面，由于产业尚未实现标准化，第三方公司也没有能力提供除芯片外的全部工序。

2.3 玩家盘点

本文简要地梳理了国内外的几家典型事件相机玩家及部分典型事件相机产品的主要参数信息。具体如下：

表：国外玩家盘点

国外玩家	索尼	三星	Prophesee	iniVation
地区	日本	韩国	法国	瑞士
成立时间	1946	1969	2014	2015年
商业模式	提供芯片	提供芯片	提供相机	提供相机
主要产品	IMX636、IMX637（芯片）	Gen1~Gen4（芯片）	Metavision传感器、EVK评估套件	DAVIS346、DVXplorer Lite
融资阶段	已IPO上市	已IPO上市	C轮	-
投资方	-	-	小米、英特尔、博世等	三星
应用领域	工业、机器人、安防、科研、游戏	初期定位于ADAS系统	智能驾驶、医疗、工业自动化等	物联网、自动驾驶、机器人、工业视觉
资料来源：相关公司提供、公开信息整理

表：国内玩家盘点

国内玩家	锐思智芯	宇勘科技	芯仑科技
地区	北京	上海	上海
成立时间	2019	2021	2017
商业模式	提供芯片或一整套解决方案	提供芯片	提供芯片
产品	ALPIX（芯片）、ALPIX-Titlis传感器等	YK-D-RH02（芯片）	CeleX-V
融资阶段	Pre-A轮	天使轮	已被收购
投资方	中科创星、联想创投、海康	-	百度、韦尔股份
应用领域	汽车、安防、消费电子等	航天星载应用	车内驾驶员监控（DMS）和驾驶辅助系统（ADAS）
资料来源：相关公司提供、公开信息整理

表：典型事件相机产品参数

产品型号	EVS-IMX636	EVS-IMX637	DVS-Gen4	DAVIS 346	CeleX-V
厂商名	索尼	索尼	三星	iniVation	芯仑科技
发布年份	2021	2021	-	2020	2018
分辨率（pixels）	1280×720	640×512	1280×960	346×260	1280×800
动态范围（dB）	大于86	大于86	90	120	120
功耗（mW）	-	-	140	-	-
像素芯片尺寸（μm×μm）	4.86	4.86	4.95	18.8	9.8
资料来源：相关公司提供、公开信息整理

三、商业化前景

3.1 机会：自动驾驶中的落地场景

3.1.1 适合落地的场景

事件相机的优势在于响应速度快、高动态范围等，较适应于以下场景：

第一，城区场景中的鬼探头。传统帧相机在面对横向的鬼探头场景时，无法快速做出反应，而事件相机可以更快的感知到危险信号。

第二，高速场景下的避障。比如车辆在高速路上快速行驶时，遇到前方路面有一个轮胎，帧相机不能及时做出反应，而事件相机可以依靠它的低时延性优势，快速识别出前方的轮胎，并及时做出避障动作。

第三，光线过亮或者过暗的场景。比如在深夜的环境下，帧相机由于周围极暗的光线而无法识别周围事物，而事件相机依然可以有效的识别周围事物。

第四，光强突变较为明显的场景。比如车辆从隧道出来后，面对高曝光的场景，帧相机会受到高爆光的影响，从而产生失效的工况，而事件相机不会受到影响。

3.1.2 不适合落地的场景

事件相机不适合落地的场景，主要是在城区场景的某些工况下，比如车辆前方有无数行人在穿插过马路。再或者一些恶劣天气环境下，比如大雨、大雪、沙尘等。

以上两种场景下，前方的目标物都存在数量多且无规律运动的特点，这会对事件相机产生很多无效的噪点。

在与一些自动驾驶从业者交流时，不少人也问道：“那车辆在道路上行驶时，周围的物体看上去都在移动，是否说明事件相机不适合应用在自动驾驶？”

对此，某事件相机方面的专家说：“这种相对的移动是有规律可循的，周围的物体都是以相对车辆的一个速度在后退，而这个速度就是车辆自身的行驶速度，可以在后台处理数据时，通过某些算法将车辆自身的速度作为一个参数，从而过滤掉一些原本静止的物体。”

3.2 商业化中存在的问题

3.2.1 技术层面的挑战

（1）无法识别具体目标物

帧相机输出的是帧图像，并且已拥有了成熟的应用和标定数据库；而事件相机只能给出比较原始的数据信息，比如目标物的外部轮廓，并且也没有一个自己独立的数据库来匹配这些轮廓信息。

若想要得到更深层次的信息，仍需要帧相机作为辅助，比如先从事件相机识别出前方雪糕筒的形状，而后在经过神经网络算法的训练后，发现该形状与之前的雪糕筒相似，从而判断出前方物体具体是什么。

（2）缺少适合的芯片和算法

当前事件相机使用的是原来帧相机的一整套架构体系（比如所使用的芯片类型、算法模型等），但基于帧图像的架构并不能完全处理好事件流，而现有的大部分事件相机产品只是做了简单的架构平移。但两者的工作原理完全不同，若只是简单的架构平移，就如同将一台普通的轿车引擎装在一辆超跑上。

第一，较适合事件相机的芯片将会是类脑芯片。

目前事件相机用的主要是传统的CIS的图像传感器芯片，主要以处理帧图像的方式来处理事件流，两者的契合度较低。

而类脑芯片一般指神经形态芯片，它是一种参考人脑神经元结构和人脑感知认知方式来设计的芯片，旨在突破“冯˙诺依曼瓶颈”，可实现类似人脑的超低功耗和并行信息处理能力，从这一点来看，非常匹配事件相机的性能。

当前类脑技术仍然属于探索阶段，尚未大规模商业化。相对国内的进度来说，国外的类脑芯片玩家相对走得更快一步，比如英特尔、时识科技等，而目前国内的类脑芯片技术仍主要处在学术阶段。

第二，较适合事件相机的算法为脉冲神经网络。

徐波说道：“事件相机的算法有一些特殊的神经网络，但是当前大家通用的还是基于frame的网络，数据的稀疏性会对传统神经网络算法产生影响，所以这也是目前事件数据比较难处理的地方。”

而脉动神经网络具有事件驱动、异步运算、极低功耗等特点，并且脉冲信号的产生与事件相机基于时间戳的事件流输出方式非常契合。不过，目前脉冲神经网络仍然处于学术阶段，虽然也有部分企业在尝试该技术，但更多的是一种早期项目，并没有找到能够大规模应用的场景。

3.2.2 工程层面的挑战

（1）阈值设定难度高

阈值是衡量事件输出的标准，当目标物的光强变化量（亮度由低到高或者由高到低）超过预设的阈值就会产生事件。其基本的原理是：通过调整阈值可以改变相机对噪点的敏感度，当阈值越大时，相机对噪点越不敏感，能捕捉到的事件也会越少；当阈值越小时，能捕捉到的事件也会越多。

对于如何调整阈值大小，森云智能CEO徐波说道：“具体如何设置阈值需要看具体场景需求，比如车在城区或者高速等不同场景下，每个时刻的阈值设定都是不同的。而阈值的多少，取决于你想看到哪些东西，想看多一些，还是想看少一些。”

一方面，在不同的场景环境下，阈值的初始状态设定也不同，比如白天的阈值会比较高，而晚上的阈值会比较低。

另一方面，事件相机在使用过程中，它的阈值通过算法会不断动态调节，形成一个自适应地过程。

而在自动驾驶领域，具体如何设定阈值也是一个难题：一方面，车在行驶过程中，与周围的事物始终保持着相对运动，随着物体表面光强亮度的变化就会一直有事件产生，此时阈值应该越大，从而减少噪点；另一方面，事件数据的特点是具有稀疏性（比如一个静止的物体，事件相机只会再t0时刻产生事件，之后就不会有新的事件产生），从冗余安全的角度来看，为了降低数据过少的风险，阈值应该越小。

总的来说，阈值大小的设定是决定事件相机是否能在自动驾驶中用好的关键一步，这需要大量场景数据的积累、算法的优化、设备运行时动态地调整阈值。

（2）数据处理效率低

帧相机处理数据的原理，是在等整张图像处理完了后才能做出决策；而事件相机的数据处理原理是出现一个事件就处理掉一个事件，然后快速地做出决策。

但当前的商业应用中，市场上还没有针对事件数据处理的成熟方法，所以已有的事件相机产品都是采用帧相机的数据处理方式来处理事件数据。

举例来说，若一个事件相机在60秒内，只有在第60秒才产生一个事件。此时，我们按照30帧的帧率去处理事件数据，就需要将60秒的数据切割成每30秒一组数据，然后在传统的神经网络算法模型下进行运算，可以发现，前一组30秒数据并没有事件产生，但在传统网络模型下前一组数据也必须要进行运算，这就违背了事件相机的处理数据原理，让其丧失了低时延的优势。

图：事件相机与帧相机的数据对比效果

（来源：宇勘科技提供）

（3）与其它传感器融合的挑战

由于事件相机无法单独提供深层次的数据，比如测距、测速、表面具体颜色等，只能获取到物体的轮廓，所以单纯地使用一个事件相机是无法给到自动驾驶车辆足够的冗余安全，与其他传感器的融合才是更好的感知方案。

在与其它传感器融合时，需要把事件流与其它传感器的信号进行同步匹配。

以事件相机与激光雷达的融合为例，事件相机与激光雷达都有帧的概念，激光雷达也是以某一恒定帧率发射点云。若想要把这两个传感器同步起来，就需要做到两个方面：一方面，时间戳的一一对应；另一方面，需要在做好标定的基础上，将事件相机的像素点云映射到激光雷达的点云上。

3.2.3 商业层面的挑战

在商业应用层面，事件相机主要存在应用场景较少和供应链体系不成熟的问题。

一方面，应用的场景仍较少。在现有相机体系越来越成熟的趋势下，当前事件相机能给自动驾驶能带来的增量价值过小，并且它只能通过与其它传感器融合使用才能发挥更大的价值，但作为新型传感器在进入市场前，事件相机需要经历漫长的场景功能开发，从而慢慢挖掘出一些它的潜在价值。

另一方面，供应链体系不成熟。事件相机处在早期发展阶段，产品的标准化程度较低，在推广过程中不得不提供一整套解决方案，导致产品的成本较高。以事件相机的算法开发供应商为例，某自动驾驶公司传感器专家提到，现有的事件相机相关的算法开发商，主要是以demo为主，没有针对特定场景去做配套算法的开发。

结语

总的来说，事件相机在理论上具备一定的优势，或许某一天能成为自动驾驶领域内一种全新的传感器选项，但现阶段技术成熟度与产业成熟度仍需要时间去慢慢打磨。

某事件相机厂商市场负责人说道：“不同应用领域内的潜在客户都意识到事件相机的独特优势，但是作为一项新技术，上下游的发展成熟仍需要一段时间，大家都在期待技术的更将成熟、价格的进一步下降，并且能够有丰富、成熟、可靠的配套算法。预计2023到2024年间，部分事件相机厂商会开始往一些量产型号去设计一些应用，但事件相机仍需要在产品的可靠性方面得到进一步的验证。”