本文仅用于记录自己在学习过程中遇到的关于事件相机数据的表示方式(Event Representation),转载请注明出处。
早些时候,在看论文时,数据的表示形式无非那么几种,但慢慢地发现在不同任务上,数据表示的方式变得越来越多,在此做一下整理,以后说不定在为了解决某个任务时能够有所启发,同时欢迎其他朋友进行补充方法或采用该方法的论文,可以在评论区给出论文名和方法简介,我会抽时间阅读后加到正文中并感谢。
(目前整理的数量较少,故不作分类)
1. spatio-temporal voxel grid
最先出现于[1],解决光流任务。原文描述如下:
即将定长的N个事件,转成一个3维的Voxel grid。网格的长宽高分别对应图像分辨率的xy和离散化的时间t,时间切片的数量是B,索引从0到B-1。对这段数据的时间戳进行归一化操作(式(1)),之后用(2)计算在当前离散时间t附近的事件,对所对应的xy坐标进行贡献,贡献权重与时间间隔相关。
式(2)写的不好理解,按照个人理解,写成下式:
个人扩展:如果把式(2)修改成:
V
=
∑
1
2
m
a
x
(
0
,
2
−
∣
x
−
x
i
∣
)
×
1
2
m
a
x
(
0
,
2
−
∣
y
−
y
i
∣
)
×
m
a
x
(
0
,
1
−
∣
t
−
t
i
∗
∣
)
V=\sum \frac{1}{2} max(0, 2-|x-x_i|)\times \frac{1}{2} max(0, 2-|y-y_i|) \times max(0, 1-|t-t_i^*|)
V=∑21max(0,2−∣x−xi∣)×21max(0,2−∣y−yi∣)×max(0,1−∣t−ti∗∣)扩大每个事件在空间域上的投票范围,是不是图像看起来能够更加平滑,降低噪声的影响?
参考文献
[1]. Unsupervised Event-based Optical Flow using Motion Compensation. Alex Zihao Zhu. ECCVW 2018.