CeleX5相机使用系列 - 相机的循环模式

本文首发于公众号：【事件相机】，CeleX5相机使用系列 - 相机的循环模式

之前的文章介绍了相机的多种工作模式：CeleX5相机使用系列 - 相机的工作模式。其中，循环模式和固定模式被称作“工作模式”，在循环模式下，相机可以输出多种“数据模式”的数据。本文介绍循环模式使用时需要的设置和注意事项。本文完全为个人经验总结，难免有错误，如有请及时指出。

一、循环模式基本原理

根据官方提供的手册，循环模式下，相机在3个“模式”下不断切换进行工作，每个阶段结束时输出这段儿时间的全部数据。即如果我设置的三个模式的顺序为“图像-事件-光流”，则收到的数据也是按照“图像-事件-光流”顺序接收。

一般大家用loop模式只是为了“同时得到图像和事件”，那么从这里开始，我所提的loop模式不包括光流，只有图像和事件两个Mode，分别叫做Mode 1和Mode 2。

原理看起来很简单，我们看下实际录制时的数据。下面这个视频是按照每100ms切换到图像模式拍摄一张图像，其他时间工作在事件模式拍摄的，按照0.5倍速播放。（视频见公众号推送）

二、循环模式需要注意的问题

2.1 数据丢失问题

再看一下基本原理，不仅要思考一个问题：当相机工作在图像模式（Mode 1）时，它完全不接收事件（Mode 2）的数据，还是仅仅不输出事件？先告诉结论：答案是前者。即在接收图像的阶段，相机是不接收事件数据的。请再仔细看上面的视频，我们可以发现在图像变换时（收到了图像），右侧的事件明显减少，即工作在图像模式阶段，是不接收事件的。如果不清楚我截取了下图：
图：收到完整图像时（左侧2-3），事件数据丢失（右侧2）

图是视频中连续的三帧，左侧图像在2-3时发生了变化（图像左移），右侧的事件在第2帧时明显比1和3要少，而且可以发现1-3时事件星星的位置也是有跳变的，意味着中间的数据丢失。

2.2 事件输出频率的问题

我们知道在实际使用事件相机时，不管是CeleX还是iniVation或prophesee的，都不是理想地一个一个事件逐一输出，而是“按批”输出。对于芯仑而言，事件的输出频率是设定的时间段，如果在固定模式下设定为10ms输出一次，那么事件流的频率就是100Hz。但在循环模式下，不仅要考虑Mode 2的时间间隔，还要考虑Mode 1的时间。即如果Mode 1运行是90ms，而Mode 2设定为了10ms，最终事件频率是10Hz而不是100Hz。

同时还要注意的一个问题是，Loop模式下，事件的频率和完整图像的频率是完全一致的，而不是理想的“两张图像之间到来了多组事件”。当然我指的是原始的输出数据，没有经过任何的后处理。

对于2.1和2.2提到的两个问题，我画一张图进行表示。下图中第1行蓝色F表示图像模式，橙色E表示事件模式。当工作在循环模式不断切换时，第2行PC端收到数据的时刻是每个模式结束的时刻，但事件的时间戳是在E阶段的数据，而在F阶段不会产生任何事件。

三、循环模式的参数设置

了解了循环模式的基本原理和存在的问题之后，就要考虑如何设置相关参数。简单来说，设置过程需要包括三步：启用循环模式、设置Mode 1-3分别是什么、以及3个Mode的持续时间。

对于事件模式来说，持续时间就是简单的“接收多长时间的事件”，而对于图像模式或光流模式来说，持续时间是“接收几帧数据”，是图像的数量。显然，图像模式具体的时间就不是一个绝对值了，如果刚刚切换到图像模式就收到了frame，那很快就切到下一个模式；也有可能在切到图像模式后等了一段儿时间才收到frame。所以在循环模式下，数据的频率是会有波动的。
图：循环模式的参数设置代码

如果想尽可能的保留事件，图像只做参考，可以将Mode 1图像模式的持续时间设置为1帧，Mode 3设置为0帧，而Mode 2事件模式的持续时间相对长一些，以提高事件模式在整个时间轴上的占比。虽然这样造成了事件包的输出频率降低，但可以延迟处理或离线处理，重新提高事件包的频率。

四、高频的图像和全部的事件，我全都要！

如果您一定需要高频的图像以及全部的事件数据，那么仅使芯仑相机的循环模式是做不到的。可以换个相机，例如iniVation的DAVIS240/346。或者采用下面的分束镜方案，把一个镜头的图像分给芯仑相机和另一个普通相机，用芯仑的固定模式的事件模式，另一个相机提供完整图像。
图片来源：论文[1]

当然，这又引入了两个相机的同步问题了。也比较复杂，今后有机会再说。

参考文献：
[1] Han, J., Zhou, C., Duan, P., Tang, Y.,Xu, C., Xu, C., Huang, T., Shi, B., Neuromorphic Camera Guided High DynamicRange Imaging, IEEE Conf. Computer Vision and Pattern Recognition (CVPR), 2020

欢迎关注微信公众号【事件相机】，分享和交流事件相机的相关研究与应用。