事件相机的原理与应用简介

关注公众号，发现CV技术之美

本文转自空中机器人前沿，作者西湖大学-郑业。

一．概述

事件相机（Event-based camera）是一种受生物启发的新型视觉传感器，有时也称动态视觉传感器（DVS，dynamic vision sensor）或DAVIS（Dynamic and Active-Pixel Vision Sensor）。相比于以固定帧率采集图像的标准相机，它具有低延迟、高动态范围、低功耗、高时间分辨率等特点。

图1展示了事件相机和标准相机的数据采集过程，从中可看出，当物体运动时，标准相机受到采样频率的影响会丢失部分数据，而事件相机采集的数据则相对更加完整。另外，当目标物体与相机具有相对运动时，受到曝光时间等因素的影响，用标准相机获得的图像极易产生运动模糊，而用事件相机获得的数据则没有这个问题。

下面，我将从工作原理、常见的应用场景和数据处理范式出发，对事件相机做一个简要介绍。

图1. 事件相机与标准相机输出数据对比[1]

二．事件相机的工作原理

事件相机可以简单理解为一种“仅感知运动物体”的传感器。在事件相机的每个像素处都有一个独立的光电传感模块，当该像素处的亮度变化超过设定阈值时，就会生成、输出事件数据（有时也称脉冲数据）。另外，由于所有的像素都是独立工作的，所以事件相机的数据输出是异步的，在空间上呈现稀疏的特点。这也是事件相机与标准相机的最大不同之处，也是事件相机的核心创新。这种成像范式的好处是可以大大减少冗余数据，从而提高后处理算法的计算效率。

传感器的工作原理通常基于一个特定的数学模型，下面我们介绍一下事件相机的数学模型。为了方便介绍，我们首先定义一些名词和变量。设定亮度为；事件相机中的亮度定义为实际亮度的对数值，即。那么，时刻在像素处的亮度增益记为

其中，表示微小时间间隔。当亮度变化超过设定的阈值时，那么就会触发事件，该过程表示为

其中，表示设定亮度变化阈值，通常情况下，的值设置为亮度的10%~50%；表示事件的极性，若亮度增强，则表示发生正事件，否则，表示发生负事件。最终，触发的事件数据表示为。

图2展示了事件触发的效果。其中，左图表示时间内在各像素处生成的离散数据点，蓝色的点表示正事件，红色的点表示负事件；右图是将时间内的全部事件，按像素位置堆叠在一起，放到一张图像上的效果。从右图中可以看出，事件都发生在物体的边缘。这主要是因为，当物体运动时（或相机运动时），物体的边缘与背景有更大的亮度变化。

图2. 事件相机工作原理[2]

三．常见应用场景及处理范式

事件相机可以完成一些基于帧的标准相机无法完成的任务，比如高速运动估计，高动态范围建图等等。除此之外，它还被研究用于一些传统的视觉任务，如特征检测与跟踪、光流估计、3D重建和姿态估计等。

为了充分开发事件相机的性能，研究人员也开始思考能从事件数据中提取更多有效信息的方法。目前，常见的事件数据表征方法包括独立事件、事件包、事件帧、体素栅格、3D点集等。这些事件表征方法可以被应用在事件处理系统中的各个部分，包含前处理，核心处理和后处理。

事件数据的主流处理方法可以分为两类，分别是event-by-event的方法和group of events的方法[3]。前者可以理解为逐个事件的处理方法。这类方法常见于各种用于降低事件噪声、提取特征和图像重建的滤波器中。它们通过对比当前事件与过去事件完成系统状态的更新。

另外，现在也有许多数据驱动的方法在使用逐个事件处理的方法，包括采用监督学习和无监督学习方法来训练分类器。基于group of events的处理方法可以理解为累积时间内的数据进行处理。由于单个事件携带的信息十分有限，这种累积事件群的处理方法极大地降低了噪声的干扰，提升了算法的可靠性。这种处理方法主要使用的数据表征方法包括事件帧，体栅格和3D点集。在基于模型的方法中，往往将事件数据累积为事件帧，然后利用基于图像的处理方法来解决问题。另外还有一种基于数据驱动的方法，它们直接将整个事件包输入神经网络，目前该类方法已经广泛应用于分类、光流估计、深度估计等任务中，并且取得了不错的效果。

四. 小结

本文简要地介绍了事件相机的工作原理与常见应用，同时也对事件数据的表征方式和处理方法做了说明。

最后，请欣赏事件相机镜头下的杭城飘雪，感受一下不一样的景色。

参考资料

[1] https://zhuanlan.zhihu.com/p/108509283

[2] G. Gallego, H. Rebecq and D. Scaramuzza, "A Unifying Contrast Maximization Framework for Event Cameras, with Applications to Motion, Depth, and Optical Flow Estimation," 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 3867-3876.

[3] G. Gallego et al., "Event-Based Vision: A Survey," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 1, pp. 154-180, 1 Jan. 2022.

END

加入「计算机视觉」交流群👇备注：CV