Event-based Vision:A Survey.基于事件视觉的综述

Event-based vision: a survey(基于事件视觉的综述)

• 论文地址：Event-based vision: a survey
• 期刊：arXiv
• 时间：2019
• 作者：Guillermo Gallego, Tobi Delbruck, Garrick Orchard, Chiara Bartolozzi, Brian Taba, Andrea Censi, Stefan Leutenegger, Andrew Davison, Jorg Conradt, Kostas Daniilidis, Davide Scaramuzza

---

摘要

事件相机(Event cameras)是收生物启发的一种传感器，其工作的原理与传统相机完全不同。它不是以固定的频率捕获图片，而是异步的测量每个像素光照强度的变化。

事件相机测量的结果是产生事件流信息(a stream of events)，其中包含时间，位置以及亮度变化的符号(正或者负)。

与传统相机相比，事件相机具有出色的性能:

1. 高动态范围成像(HDR)(140dB),传统相机是60dB；
2. 非常高的时间分辨率(μs-微秒级别),低延迟；
3. 低功耗；
4. 并且不会受到运动模糊(motion blur)。

因而，在机器人和计算机视觉中，一些场景对于传统相机来说很有挑战性或者困难，但对于事件相机来说则有很大的潜力进行处理，比如高速运动以及高动态范围成像。但是，这就需要一些新方法来处理事件相机的非常规输出，从而释放其潜力。

本综述论文对基于事件的视觉的新兴领域进行了全面的概述，重点介绍了一些为解锁事件摄像机的卓越性能而开发的应用程序和算法。

我们从事件相机的工作原理出发，包括一些可用的实际事件相机传感器以及其工作的任务，从低层次的视觉领域(特征检测和追踪，光流等)，到高层次的视觉领域(重建，分割以及识别)。

我们还将讨论用于处理事件开发的技术，包括基于学习的技术，以及针对这些新型传感器的专用处理器，例如尖峰神经网络(spiking neural networks)。此外，我们着重指出仍然需要解决的挑战，以及寻找更有效，更受生物启发方式的机器去感知世界并与世界交互的机会。

---

正文

1. (INTRODUCTION AND APPLICATIONS)介绍和应用

“The brain is imagination, and that was exciting to me; I wanted to build a chip that could imagine something.–Misha Mahowald”

1991年，《科学美国人》杂志封面刊登了一张猫的图片，标志着事件相机“Silicon Retina”开始走进科学界的视野，它展现了一种新颖而有力的方式计算，点燃了神经形态工程学的新兴领域。最近这些年，基于事件相机的技术在学术界和工业界都引起了很大的关注。这是由于事件相机目前有相对成熟的产品以及这些设备提供的优势，以解决当前基于固定帧的图像传感器(提供2D信息的同步频闪序列图片)无法解决的问题。

事件相机则是异步的处理器，它们在获取视觉信息的方式上发生了范式转移(paradigm shift，指行事或思维方式的重大变化)。这是因为事件相机采样光是基于场景的动态而不是与场景无关的时钟。

2008年事件相机才开始可以商用，但是基于事件相机的文献已经有很多了。机器人顶刊会议ICRA2017有一个专门关于事件相机的workshop,ICRA17_event_vision_workshop。
有些公司已经宣称有大规模的生产计划，比如Samsung,Prophesee等。重点指出，事件相机在以下一些领域将会有很大的商业价值，比如移动机器人，AR/VR，视频游戏应用等。

事件相机的一些应用: 物体跟踪,监控，物体识别，手势控制，深度估计，3D全景图片，结构光3D扫描( structured light 3D scanning),光流估计，高动态范围成像图片重建，马赛克，以及视频压缩。
在自身姿态估计方面，事件相机还用于姿态跟踪(pose tracking),视觉里程计(VO)，同时定位与建图(SLAM)。
还可应用于图片的去模糊(image deblurring)以及星跟踪(star tracking)等。

2. (PRINCIPLE OF OPERATION OF EVENT CAMERAS)事件相机的原理

事件相机是基于数据驱动的传感器：其输出取决于场景中运动以及亮度变化的数量。
时间相机的类型：

3. (EVENT PROCESSING PARADIGMS)事件相机的结果如何处理
4. (ALGORITHMS / APPLICATIONS)相关算法和应用
5. (EVENT-BASED SYSTEMS AND APPLICATIONS)基于事件的系统和应用
6. (RESOURCES)相关资源
7. (DISCUSSION)探讨
8. (CONCLUSION)总结

参考文献