谈谈事件相机在自动驾驶领域的应用前景（上）

在自动驾驶发展的历程中，视觉算法的应用已经成为不可或缺的一部分。但当前的视觉算法仍然存在着一些局限性：一方面，相机容易受到光线明暗突变、逆光等影响；另一方面，相机在运行时，产生的数据量非常大，因而对算力的要求特别高。

如今，市场上出现一种新型相机传感器，或可以有效解决上述这些痛点，那就是事件相机。事件相机具备极快的响应速度、减少无效信息、降低算力和功耗、高动态范围等优势，可以帮助自动驾驶车辆降低信息处理的复杂度、提高车辆的行驶安全，并能够在极亮或者极暗环境下正常工作。

本文将从3个方面详述事件相机，包括什么是事件相机、商业模式与竞争格局、商业化前景。

一、什么是事件相机

1.1 定义

事件相机最初的技术来自苏黎世，又被称为仿生视觉传感器，是一种受生物启发的视觉传感器，早期应用于无人机、机器人、航空航天等。如同人眼一般，事件相机对运动物体的感知非常灵敏，能够高效地处理动态和静态信息。

事件相机是相比于传统的帧相机而言的：帧相机是以固定帧率输出一帧一帧的图片，并最终组成视频流；而事件相机只记录亮度变化的像素点。

有人会有疑惑，那何谓“事件”？这里的“事件”并不是字面意义上的事件，而是把事件相机所记录下的一个个像素点的光强变化称之为“事件”。

1.2 优势

事件相机相较于传统帧相机而言，主要具有响应速度快、减少无效信息、降低算力和功耗、高动态范围的优势。

（1）响应速度较快

帧相机始终输出的是一张张的帧图像，面对突然横穿的行人时，其响应速度不一定会及时，比如第一帧图像显示行人在左边，第二帧图像显示在中间，第三帧图像显示在右边，结合三张图像才能判断出一个行人横穿的场景；而事件相机的识别频率非常高，相当于达到了1000帧的帧相机效果，能够更快地预判到行人横穿。

（2）减少无效信息

帧相机会产生大量的无效信息；而事件相机是根据物体表面的光强变化而产生事件流。

某传感器公司专家解释道：“事件相机显示的主要是前方运动物体的外边框，由于变化的部分主要是在物体边框，而其内部的区域大概率是没有变化的。相当于给图像做了一次压缩，减少了无效信息，只输出动态信息，可以以一个低带宽的线路给出一个高质量的信息。”

（3）降低算力和功耗

帧相机需要对每一帧图像进行处理，比如30帧的相机，在10秒内可以产生300张图像，如此庞大的数据量对芯片的算力要求也更高，产生的功耗也会更大。在自动驾驶领域，虽然帧相机也可以通过一种叫注意力机制的方法，把视觉信息集中在一些感兴趣的区域，但前提仍需要将所有的图像数据先进行一次预处理。

事件相机在二维结构上显示出一定的稀疏性（比如一个目标物只在t0时刻动了，但之后一直保持着静止，那就只会在t0时刻显示一个事件，之后则没有数据产生），也就是说，它只会对变化的部分产生脉冲信号，可能10秒内只有几十KB数据量，它不需要处理过多的数据量。事件相机所需的算力可能只有传统CIS芯片的1%，甚至更低，对应的功耗也会较低。

（4）高动态范围

通俗点说，高动态范围指的是相机在极端光强变化下也能保持图像的清晰度。

帧相机的动态范围通常只能达到60dB，而事件相机的动态范围能达到120dB，甚至会更高。高动态范围可以帮助事件相机在光线极暗、曝光过度、光线突变等情况下，依然能够保持有效的工作，为自动驾驶增添了一份安全冗余。

某传感器公司专家通过一个形象的例子，说：“比如一辆车从黑暗的隧道驶出时，普通相机会出现过度曝光，需要一段时间才能恢复，虽然也可以通过算法去克服这个问题，但是事件相机在这方面会表现得更好。”

图：事件相机在极暗环境下效果图

（来源：宇勘科技提供）

1.3 工作原理

那事件相机是如何工作的呢？具体来说，当对应像素坐标点的光强变化量超过了预先设定的阈值时，事件相机就会以微秒级分辨率标记时间戳，并输出异步事件流。

我们通过下图的小球实验可以更直观地发现：只要小球变化的时刻，就会产生事件流，而小球静止的时刻，就不会产生事件流。

 

图：事件相机与帧相机的输出信号对比

(来源：公开信息)

1.4 与传统帧相机的差异

（1）感光机制不同

帧相机是通过设定恒定速率的方式，从而获取场景的信息，并只记录下每一帧内各像素点上的光强信息，而不记录这一刻相对于上一个时刻所产生的光强变化。

而事件相机记录的则是光强的差值变化，以及具体到某个像素坐标位置的变化，从而触发一个事件流的产生。需要注意的是，对于相对静止的物体，事件相机是没有信号返回的；而对于相对运动的物体，尤其是物体外边框，则会产生相应的光强变化。

（2）读出机制不同

帧相机始终输出的是一帧一帧的图像，并且每一帧的图像呈现出非常稳定且均匀的特征。以一个30帧的相机来说，当车辆经过一个不变的场景时，相机在运作时依然会每秒拍摄30张重复的图像——其中29张属于浪费。

反过来看，事件相机是由一个个事件组成，它无法像帧相机一样，输出一个图像视频，而是只记录某个像素点上发生的正向或者负向的光强变化，并输出光强变化量信号，所以事件相机的数据特征不是均匀稳定的。

宇勘科技商务负责人金光旭解释道：“帧相机的读出电路是行列扫描的方式，是一种矩阵数据整体读出的形式，在像素坐标轴上记录像素点的RGB信息；而事件相机是通过AER的编码方式，仅将事件以时间戳和坐标的数据形式，按照事件产生的先后顺序异步传出。”

（3）电路设计不同

事件相机与传统的帧相机相比，二者在电路设计上是完全不同的，最大的区别是在于图像传感器部分。

在发展初期，由于事件流不容易理解和处理，部分事件相机厂商为了能够将事件相机更快地实现产品化，并应用在更多的场景，于是在事件相机的pixel结构设计上加了一个APS电路。

针对APS的理解，某传感器公司专家解释道：“所谓的APS实际上就是某种程度上的CIS pixel，它会提供辅助参考的作用。”

1.5 产品类型

当前，市场上主流的事件相机产品主要为三类：DVS、ATIS以及DAVIS，它们都采用了差分型视觉采样模型。此外，也有一些其它类型的事件相机,比如CeleX、Vidar,但从商业化的进度来看，上述三类事件相机的商业化发展较快，所以此处着重介绍这三类。

表：三种产品类型的基本情况

产品分类	DVS （动态视觉传感器）	ATIS （基于异步时间的图像传感器）	DAVIS （动态和有源像素视觉传感器）
简介	早期的事件相机，仅输出事件流	基于DVS的改良，只在输出事件流的同时，输出灰度信息	基于DVS的改良，可同时输出事件流和灰度信息
电路结构	由对数光感受器、差分电路、两个比较器（阈值比较器与内部握手电路）组成	由两个部分组成，拥有两个感光器	由DVS相机和APS相组成，并共用一个感光器。
优势	电路设计简单，像素面积小	能提供灰度信息，功耗相对DAVIS较低	能提供灰度信息，像素面积相对ATIS更小。
挑战	纯事件数据的可视化程度较低，无法提供精细化的图像	不适用在环境亮度变化不频繁的场景	APS部分无法与DVS做到精准同步

（1）DVS（动态视觉传感器）

DVS是最先发展起来的一款事件相机，它采用AER异步传输方式的差分型视觉采样模型，以异步时空脉冲信号表示场景光强变化，对有光强变化的部分做出响应，而对无光强变化的部分则不会做出响应。DVS将这些运动变化信息转化为空间稀疏、时间密集的事件流。

电路结构：DVS像素电路由对数光感受器、差分电路、两个比较器（阈值比较器与内部握手电路）组成。其中，对数光感受器能感知光强变化并及时做出反应；差分电路可以将感光电路的输出信号进行放大；两个比较器主要是比较电压的变化实现ON/OFF事件脉冲的输出。

图：DVS像素电路结构图

（来源：《事件视觉传感器发展现状与趋》）

优势：电路设计简单，像素面积小。

挑战：纯事件数据的可视化程度较低，无法提供精细化的图像。

（2）ATIS（基于异步时间的图像传感器）

ATIS在DVS的基础上进行改进了数据的可视化，可以只在电路产生事件信号的同时，触发光强测量电路，从而对事件提供一定的灰度信息。

电路结构：ATIS像素结构分为两个部分（A和B），它包括两个感光器。其中，A部分包含完整的DVS像素结构，可以检测光强的变化并激发事件；B部分包含的感光器是用来检测光照强度的变化并进行曝光。

图：ATIS像素电路结构图

（来源：《事件视觉传感器发展现状与趋》）

优势：能提供灰度信息，功耗相对DAVIS较低。在启动后，由于直接发放了一次脉冲，可以直接获取到相机前方的所有灰度信息，然后根据运动区域内，将在产生的脉冲信号上不断更新相应灰度信息。

挑战：不适用在环境亮度变化不频繁的场景。比如在高速运动场景下，由于光强测量结果是在脉冲信号产生后的一段时间内的平均光强，所以存在事件与灰度信息重构更新不匹配的情况。

（3）DAVIS（动态和有源像素视觉传感器）

DAVIS也是在DVS基础上改良而来，可同时输出事件信息和灰度信息，与ATIS的区别在于只有一个感光器。

电路结构：DAVIS是DVS相机和APS相结合而成，两者共用一个感光器。

图：DAVIS像素电路结构图

（来源：《事件视觉传感器发展现状与趋》）

优势：DAVIS与ATIS一样，也可以提供灰度信息；同时，DAVIS由于共用一个感光器，像素面积相对ATIS更小。

挑战：APS电路的采样速度远不如DVS电路，导致二者无法做到精准同步。再者，APS电路在高速场景下存在拖影现象。

内容来源：九章智驾

原文链接：https://mp.weixin.qq.com/s/OqXQcP5B5m1oeHA7iBpDow

作者：奚少华

版权归原作者所有，如需转载请联系原作者。