EventDrop：一种增加异步事件数据的方法，可用于视觉惯性里程计、位置识别、姿态估计的新技术

作者：马丰敏

使用 EventDrop 增强事件的示例。为了更好地可视化，事件框架表示用于可视化增强事件的结果。

事件传感器，例如 DVS 事件摄像机和 NeuTouch 触觉传感器，是复杂的仿生设备，可模拟大脑中自然发生的事件驱动通信机制。与被设计为以固定速率同步捕捉场景的传统传感器（例如RGB相机）相比，事件传感器可以异步捕捉场景中发生的变化（即，事件）。

例如，DVS 相机可以捕捉单个像素的亮度随时间的变化，而不是像传统的 RGB 相机那样收集强度图像。与传统传感技术相比，事件传感器具有许多优势，包括更高的动态范围、更高的时间分辨率、更低的时间延迟和更高的功率效率。

由于其众多优势，这些仿生传感器已成为众多研究的焦点，包括旨在训练深度学习算法以分析事件数据的研究。虽然已经发现许多深度学习方法在涉及事件数据分析的任务上表现良好，但当它们应用于新数据（即，不是它们最初训练的数据）时，它们的性能会显着下降，这个问题被称为过拟合。

重庆大学、新加坡国立大学、德国航空航天中心和清华大学的研究人员最近创建了 EventDrop，这是一种增加异步事件数据并限制过拟合不利影响的新方法。这种方法在 arXiv 上预发表的一篇论文中介绍，并将在 7 月的 2021 年国际人工智能联合会议 (IJCAI-21) 上发表，可以提高对事件数据训练的深度学习模型的泛化。

“深度学习中的一个具有挑战性的问题是过度拟合，这意味着模型可能会在训练数据上表现出出色的性能，但在针对新的和未见过的数据进行验证时，性能会急剧下降，”开发 EventDrop 的研究人员之一古福强说。技术探索。“过拟合问题的一个简单解决方案是显着增加标记数据的数量，这在理论上是可行的，但在实践中可能成本过高。过拟合问题在使用事件数据学习时更为严重，因为事件数据集相对于传统数据集（例如 ImageNet）。”

众所周知，数据增强是一种有效的技术，可以生成人工数据并提高深度学习模型在应用于新数据集时的泛化能力。图像数据增强技术的示例包括平移、旋转、翻转、裁剪、剪切和改变对比度/清晰度。

EventDrop 使用的策略，其中 t 表示时间维度，x 表示像素坐标（为了清晰起见，这里只显示了一个维度）。黑点代表原始事件，蓝点是要删除的事件。红色虚线代表阈值边界。(a) 异步触发的原始​​事件。(b) 随机丢弃策略。(c) 按时间递减策略。(d) 逐区域策略。

事件数据与类似帧的数据（例如静态图像）有很大不同。因此，为类帧数据开发的增强技术通常也不能用于增强异步事件数据。考虑到这一点，顾和他的同事创建了 EventDrop，这是一种专门用于增强异步事件数据的新技术。

“我们的工作受到两个观察的启发，”顾说。“第一个是，在相同光照条件下，同一场景的事件摄像机的输出可能会随着时间的推移而显着变化。这可能是因为事件摄像机在某种程度上是嘈杂的，通常当场景的变化达到或超过阈值。通过随机丢弃一定比例的事件，可以提高事件数据的多样性，从而提高下游应用程序的性能。”

启发 EventDrop 发展的第二个观察结果是，在对真实数据完成某些任务时，例如对象识别和跟踪，深度学习算法处理的图像中的场景可能会被部分遮挡。因此，机器学习算法在不同数据上很好地泛化的能力在很大程度上取决于它们在遮挡方面训练的数据的多样性。

换句话说，理想情况下，训练数据应该包含具有不同遮挡程度的图像。然而不幸的是，大多数可用的训练数据集在遮挡方面的差异有限。

“在遮挡方差有限或没有（完全可见）遮挡方差的数据上训练的机器学习模型可能在部分遮挡的新样本上泛化不佳，”顾解释说。“通过生成模拟部分遮挡情况的新样本，该模型能够更好地识别部分遮挡的对象。”

EventDrop 的工作原理是“删除”使用各种策略选择的事件，以增加训练数据的多样性（例如，模拟不同级别的遮挡）。为了“丢弃”事件，它采用了三种策略，称为随机丢弃、按时间丢弃和按区域丢弃。第一个策略为嘈杂的事件数据准备模型，而其他两个策略模拟图像中的遮挡。

将事件转换为流行事件表示的通用框架。原始异步事件可以通过量化或学习（例如，神经网络）转换为类似帧的数据。

“随机丢弃的基本目标是随机丢弃序列中的一部分事件，以克服来自事件传感器的噪声，”古说。“Drop by time 是将随机时间段内触发的事件丢弃，通过尝试增加训练数据的多样性，激发物体在特定时间段内被部分遮挡的情况。最后，drop by area 丢弃随机触发的事件选定的像素区域，同时还试图通过模拟对象的某些部分被部分遮挡的各种情况来提高数据的多样性。”

该技术易于实现且计算成本低。此外，它不需要任何参数学习，因此可以应用于涉及事件数据分析的各种任务。

“据我们所知，EventDrop 是第一个通过删除事件来增加异步事件数据的方法，”Gu 说。“它可以处理事件数据并处理传感器噪声和遮挡。通过丢弃使用各种策略选择的事件，它可以增加训练数据的多样性（例如，模拟各种级别的遮挡）。”

EventDrop 可以显着提高深度学习算法在不同事件数据集上的泛化能力。此外，它还可以增强深度神经网络(DNN) 和尖峰神经网络 (SNN) 中基于事件的学习。

研究人员使用两个不同的事件数据集，即 N-Caltech101 和 N-Cars，在一系列实验中评估了 EventDrop。他们发现，对于他们使用的两个数据集，通过删除事件，他们的方法可以显着提高不同深度神经网络在对象分类任务上的准确性。

“虽然在我们的论文中，我们展示了使用深度网络进行基于事件学习的方法的应用，但它也可以应用于使用 SNN 进行学习，”古说。“在我们未来的工作中，我们会将我们的方法应用于其他基于事件的学习任务，以提高鲁棒性和可靠性，例如视觉惯性里程计、位置识别、姿态估计、交通流量估计以及同步定位和映射。”