一.背景
因为CNN只能处理同步事件,现在的论文中大部分是通过给定时间窗口,在时间窗口中将异步的事件数据转换为传统的帧进行同步处理,但是事件流是非常稀疏的,使用事件窗口这种方法会丢失很多信息,并且无法利用事件是稀疏的特性,因此,需要构造异步事件的同步表示,以最好地保持事件数据的时空完整性,并且利用事件的稀疏性。
本论文开发了一种紧凑且内存高效的事件数据到同步帧的转换方式Time-Ordered Recent Events (TORE) Volume,并且证明了该事件的表示方法在检测,去躁,重建, 姿态识别领域上均有提高。
本文的代码开源了,但是是用matlab写的!!!!!太折磨人了
二.方法
论文中的图直观的说明了核心做法:
首先一个很简单的道理:较老的事件没有新的事件重要,所以本文采取的策略是记录最新的几个事件丢弃之前的事件,本文通过在每个像素位置使用“先进先出”(FIFO)缓冲区实现(这个缓冲区是白色的方框,同样有k层,类似于栈的感觉,图中画的只是一层),k代表设置的队列长度,表示队列中可以存储的事件个数,随着时间的增长不断更新,用公式表示: