Event-based Camera：A survey

一、介绍和应用
1.1 应用领域介绍

1. 目标跟踪：

   • [12] T. Delbruck and M. Lang, “Robotic goalie with 3ms reaction time
     at 4% CPU load using event-based dynamic vision sensor,” Front.
     Neurosci., vol. 7, p. 223, 2013.

   • [13] A. Glover and C. Bartolozzi,
     “Event-driven ball detection and gaze fixation in clutter,” in IEEE
     Int. Conf. Intell. Robot. Syst. (IROS), 2016.

2. 目标/姿势识别

   • [15]G. Orchard, C. Meyer, R. Etienne-Cummings, C. Posch, N. Thakor, and R. Benosman, “HFirst: A temporal approach to object recognition,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 37, no. 10, pp. 2028–2040, 2015.

   • [16] J. H. Lee, T. Delbruck, M. Pfeiffer, P. K. Park, C.-W. Shin, H. Ryu, and B. C. Kang, “Real-time gesture interface based on event- driven processing from stereo silicon retinas,” IEEE Trans. Neural Netw. Learn. Syst., vol. 25, no. 12, pp. 2250–2263, 2014.

   • [17] A. Amir, B. Taba, D. Berg, T. Melano, J. McKinstry, C. D. Nolfo, T. Nayak, A. Andreopoulos, G. Garreau, M. Mendoza, J. Kusnitz, M. Debole, S. Esser, T. Delbruck, M. Flickner, and D. Modha, “A low power, fully event-based gesture recognition system,” in IEEE Conf. Comput. Vis. Pattern Recog. (CVPR), 2017.

3. Slam

   • [25]H. Kim, S. Leutenegger, and A. J. Davison, “Real-time 3D recon- struction and 6-DoF tracking with an event camera,” in Eur. Conf. Comput. Vis. (ECCV), 2016.
   • [26] H. Rebecq, T. Horstsch¨afer, G. Gallego, and D. Scaramuzza, “EVO: A geometric approach to event-based 6-DOF parallel tracking and mapping in real-time,” IEEE Robot. Autom. Lett., vol. 2, no. 2, pp. 593–600, 2017.
   • [27] A. Rosinol Vidal, H. Rebecq, T. Horstschaefer, and D. Scara- muzza, “Ultimate SLAM? combining events, images, and IMU for robust visual SLAM in HDR and high speed scenarios,” IEEE Robot. Autom. Lett., vol. 3, no. 2, pp. 994–1001, Apr. 2018.

1.2 文章大纲：
section 2 ：Event camera 的工作原理、优势和面临的挑战。
section 3 ：从Event camera中提取信息的几种方法，以及背后的生物学灵感
section 4：回顾了event camera的不同等级视觉任务，以及对应的算法。对应方向上未来研究的机会和挑战。
section 5：展示了event camera的神经形态硬件处理器和嵌入式系统
section 6：event camera的软件、数据集和模拟器，以及其他补充信息。
section 7：讨论
section 8：结论

二、工作原理

图a：APS和DVS共用感光器件这一部分，对于DVS，反馈的是亮度（log光照强度）的变化，因此会log一下，再与上次发送事件后的亮度相比，达到阈值就发放事件（x, y, t, p）。数据从一个digital output bus 输出，通常是用address-event representation（AER）。数据线可能会饱和从而影响发送时间。事件的采样率与亮度变化率对应. 事件相机光强有内在的不变性怎么理解？ 见[2].

图片可以在[4]、[35]中找到，DVS和DAVIS和ATIS的比较在[36]，也可以参考这个博客

[2] P. Lichtsteiner, C. Posch, and T. Delbruck, “A 128×128 120 dB 15 µs latency asynchronous temporal contrast vision sensor,” IEEE J. Solid-State Circuits, vol. 43, no. 2, pp. 566–576, 2008.
[4] C. Brandli, R. Berner, M. Yang, S.-C. Liu, and T. Delbruck, “A 240x180 130dB 3µs latency global shutter spatiotemporal vision sensor,” IEEE J. Solid-State Circuits, vol. 49, no. 10, pp. 2333–2341, 2014.	
[35]D. Neil, “Deep neural networks and hardware systems for event- driven data,” Ph.D. dissertation, ETH-Zurich, Zurich, Switzer- land, 2017.
[36]C. Posch, T. Serrano-Gotarredona, B. Linares-Barranco, and T. Delbruck, “Retinomorphic event-based vision sensors: Bioin- spired cameras with spiking output,” Proc. IEEE, vol. 102, no. 10, pp. 1470–1484, Oct. 2014.

2.1 事件相机设计
事件相机的发展历史以及DVS，ATIS，DAVIS三种设计模式。

2.2 事件相机优势

1. 高时间分辨率
2. 低时延
3. 低功耗
4. 高动态范围

2.3 事件相机劣势

1. 需要处理不同的时空输出
2. 需要处理不同的光感应强度
3. 需要解决更为严重的噪声问题

2.4 事件相机模型
$$\Delta L\left({\mathbf{x}}_k,t_k\right)=p_{k}C\text{\hspace{1em}(2)}$$
公式的序号遵循原文。其中， p k ∈ { + 1 , − 1 } p_{k} \in\{+1,-1\} pk​∈{+1,−1}，C为阈值，由像素偏置电流[56]、[57]确定，它设置了图1中变化检测器的速度和阈值电压，由芯片上的数字编程偏置发生器产生。[56]给出了由这些电流估计C的方法。另一方面，C的范围也不能太大或者太小，太大反应不够，太小容易受噪音影响。接下来给出基于公式2变化的一些算法。

1. 事件和时间对亮度求偏导。
   由泰勒展开式，$\Delta L\left({\mathbf{x}}_k,t_k\right)\approx \frac{\partial L}{\partial t}\left({\mathbf{x}}_k,t_k\right)\Delta t_k$，因此，有
   $$\frac{\partial L}{\partial t}\left({\mathbf{x}}_k,t_k\right)\approx \frac{p_{k}C}{\Delta t_k}\text{\hspace{1em}(3)}$$
   注意事件相机是因为亮度L变化超过阈值才触发事件，不是导数。基于公式3，[7], [23], [24], [28], [62], [63], [64]提出了一些研究的算法。（脉冲导数的改变方法是否可以参考？）
2. 事件是由移动的边缘引起的
   $$\Delta L\approx -\nabla L\cdot \mathbf{v}\Delta t\text{\hspace{1em}(4)}$$
3. 概率事件生成模型
   （只有一点，不应期机制引起了我的注意）

2.5 事件相机可用性

一些事件相机参数的意义。
随着相机发展，趋势为：更高的空间分辨率，输出速度，或者集成更多的特征如灰度图，惯性测量单元以及多相机异步时间戳等。
Pixel Size：像素大小对应着空间分辨率。集成度越高越好。
Fill Factor：感光面积填充比例，较小的时候丢失的光子比较多。
Price：很昂贵。
更高级的发展：1、颜色。目前还没有生产彩色感光的事件相机。2、更高的对比灵敏度。

三、事件处理