【翻译】HATS: Histograms of Averaged Time Surfaces for Robust Event-based Object Classification

---

作者：Amos Sironi1∗, Manuele Brambilla1, Nicolas Bourdis1, Xavier Lagorce1, Ryad Benosman1,2,3
机构：1PROPHESEE, Paris, France；2Institut de la Vision, UPMC, Paris, France；3University of Pittsburgh Medical Center / Carnegie Mellon University
邮件：{asironi, mbrambilla, nbourdis, xlagorce}@prophesee.ai ryad.benosman@upmc.fr
关键词：平均时间曲面直方图、目标识别、SVM、Block-Normalization scheme、Local Memory Time Surface、Histograms of Averaged Time Surfaces
原文：
http://openaccess.thecvf.com/content_cvpr_2018/papers/Sironi_HATS_Histograms_of_CVPR_2018_paper.pdf
数据：http://www.prophesee.ai/dataset-n-cars/

---

Overview

基于事件流的系统在现实环境中的性能仍比基于帧的系统差，本文针对这些问题构建了面向对象分类的底层特征表示，并构建了真实环境的事件流数据集。

本文通过引入平均时间曲面直方图的概念，利用相对时间内事件信息的位置、极性和cell的局部空间算子，提出了一种新的事件流表征方法HATS（平均时间曲面直方图），并利用线性SVM实现了目标分类任务，在精度和效率上优于现有的基于尖峰的方法。此外，HATS通过使用由相邻像素共享的MC单元来有效地存储并利用历史信息，可以在不用大量增加内存的情况下计算一个健壮的特征表示。

Background

基于事件的摄像机通过引入一种全新的视觉场景表示方法，为计算机视觉开辟了一条新的道路，并朝着实时和低功耗算法的方向发展。事件相机对于延迟（如自主导航）、功耗（如无人机视觉和物联网）或带宽（如跟踪和监视）的应用有较强的潜质。

但是，基于事件流的系统在现实环境中的性能仍比基于帧的系统差[28,66]。我们认为基于事件的算法的两个主要限制因素是：

• 对基于事件的对象分类的底层特征表示和体系结构的研究有限
• 在现实世界中缺乏大型事件流数据集

Contributions

• 提出了一种可扩展的event-based机器学习体系结构，该结构依赖于一个称为局部记忆时间曲面的低级算子low-level operator called Local Memory Time Surface
• 提出了一种高阶表示Histograms of Averaged Time Surfaces，基于本地存储单元的新架构来有效存储和访问历史信息
• 提出一种基于真实世界的专用于汽车分类的event-based数据集

Methods

给定像素网格大小为M×N的事件相机的事件流序列：

Time Surfaces

在[30]中，引入时间曲面的概念来描述事件周围的局部时空模式。时间曲面可以形式化为作用于事件ei的局部空间算子，其形式为 ，其中ρ是用于计算时间曲面的空间邻域的半径。

其中，t′(xi + z, q) is the time of the last event with polarity q received from pixel xi + z (Fig. 2(a)), and τ是衰变因子，能使过去发生的事件变得不那么重要。

**Time Surfaces优势：**时间曲面在事件的邻域中对动态上下文进行编码，从而提供时间和空间信息。因此，这种对场景内容的紧凑表示可以用于对不同的模式进行分类。

**Time Surfaces问题：**仅使用在时间表面像素xi附近接收到的last事件的时间t′(xi + z, q)，易导致算子对事件流中的噪声或小变化过于敏感。

Local Memory Time Surfaces

作用：利用并存储历史事件到内存单元中，以防止算法“忘记”历史信息。

通过考虑通过∆t时间窗的历史事件来计算时间曲面，即定义local memory time surface：

其中，

相对时间的概念

Local Memory Time Surfaces优势：如图2(b)所示，该公式更有力地描述了场景的真实动态，同时抵抗噪声和事件的微小变化，使用局部记忆公式获得更好精度的优势。

Histograms of Averaged Time Surfaces

作用：将描述如何使用这种新型的时间曲面定义用于对象分类的事件流的紧凑表示。

将 中的相邻像素分组，对于每个cell C，计算事件时间曲面的分量求和为直方图，即对于每个cell C：

为了使cell descriptor更具有可对比性，将h标准化为时空窗中包含的事件数|C|，即生成平均直方图：

给定一个事件流，通过连接所有位置、极性和cell的每个hC来给出平均时间曲面直方图的HATS

与标准的计算机视觉方法类似，可以进一步将相邻的单元分组成块，并执行block-normalization scheme，以获得对速度和对比度的更大不变性[13]，可以获得更高的精度。

DVS特点：运动物体产生的事件数量与其对比度成正比，对比度高的物体比对比度低的物体产生更多的事件。

Architecture with Locally Shared Memory units

作用：描述如何通过相邻像素有效地共享内存单元，这样就可以在不用大量增加内存的情况下计算一个健壮的特征表示。

对于每个单元，我们定义了一个共享内存单元MC，其中存储了与C相关的过去事件。这样，当一个新事件到达C时，我们仅通过MC循环来更新等式(5)，MC仅包含相关的过去事件来计算等式(3)的本地存储器时间曲面（图3(b)）.

Data

N-CARS，该数据集是基于现实事件的数据集，它由从市区和高速公路环境中的汽车驾驶中获取的约24000个样本组成。用安装在汽车挡风玻璃后面的ATIS摄像机拍摄了80分钟，并将其转换为常规的灰度图像，并标记样本。该数据集有12336个汽车样本和11693非汽车样本组成的两类数据集。其中训练集分为7940个汽车和7482个背景样本，测试集包含4396个汽车样本和4211个背景测试样本。

Reference

• Hots: a hierarchy of event-based time-surfaces for pattern recognition
• N. Dalal and B. Triggs. Histograms of Oriented Gradients or Human Detection. In CVPR, 2005. 2, 5