【CeleX5相机详细使用系列】 相机的工作模式

本文首发于公众号：【事件相机】，CeleX5相机使用系列 - 相机的工作模式

之前整理过一些CeleX的使用，但都是针对某个点。最近准备把自己一年多来CeleX使用情况做一下总结，在公众号上连载。相对于之前的博客，每篇内容会更加完善，也会纠正之前存在的错误，欢迎大家关注。

一、“模式”分类

我将CeleX5的各种“模式”分为三大类：工作模式、数据模式和输出模式。名字是我起的、分类也是我分的，主要是方便理解。

工作模式：包括固定模式（Fixed Mode）和循环模式（Loop Mode）两种。固定模式下，相机只能工作在某一种特定的输出模式。而在循环模式下，相机在3种数据模式下自动切换，在每种输出模式工作一定时间后切换到下一个输出模式。循环模式工作示意图如下图所示。

数据模式：包括事件模式（Event Mode）、完整图像模式（Full-Frame Mode）和光流模式（Optical-Flow Mode）。在事件模式下，相机只采集和输出事件流；在完整图像模式下，相机采集并输出完整的灰度图像。光流模式不多介绍，感觉一般用不到。

输出模式：是指在某一种数据模式下，数据的具体输出形式。具体的形式如下表所示。

我们能够很容易区分固定模式和循环模式、事件模式和图像模式。接下来详细介绍事件模式中具体输出模式的差异。

二、事件模式的介绍

2.1 Event Off-Pixel Timestamp

（图片来源：芯仑科技CeleX5相机套件SDK使用手册）

从说明中可以看出，Off模式下输出的event只有一个时间戳Off-Pixel Timestamp，这个时间戳是事件从芯片输出到板卡时的时间，并不是事件在芯片上生成的时间。关于时间戳的详细介绍我准备再写一篇，这里不做展开。需要注意这种模式下，输出的事件是没有极性信息的。

2.2 Event In-Pixel Timestamp

（图片来源：芯仑科技CeleX5相机套件SDK使用手册）

与Off对应的是In，In代表事件的“产生”，即感光芯片上产生一个Event的时间。当然输出时间Off依然存在，因为输出时间是最易获取的。同样，这种模式下的事件是没有极性信息的。

2.3 Event Intensity

（图片来源：芯仑科技CeleX5相机套件SDK使用手册）

在Intensity模式下，能够输出像素的绝对亮度，同时能有极性（手册的表格中没有写出来），因为亮度信息知道了，自然能够算出来事件的极性。这里解释下为什么上面两种模式没有极性，因为芯仑在设计这一款产品时硬件上没有直接生成极性信息，故产生的极性只能通过Intensity计算得到。

三、我该如何选用模式？

3.1 首先确定是是否需要Loop模式

我们知道Loop模式可以在几种数据模式下切换，说明书中说：3个模式最好的搭配为：一个Full-Picture Mode，一个Event Mode 和一个Optical-flow Mode。如果你既需要完整图像，又需要event，那就选择Loop模式了。但需要注意的是，在完整图像工作模式下，是无法获取event的数据的。这个问题会在后面的文章详细介绍。

3.2 我需要用哪种Event模式？

表格已经放在上面了，如果极性、灰度值对你来说是刚需，那只能选择Intensity模式。如果不需要极性，Off和In-Pixel差不太多。但有细微的区别：

• Off模式可以设置芯片主频到100MHz，In模式只能到70MHz，所以Off模式更快。
• In模式能够提供事件生成时间戳，虽然和输出时间戳差不多，但还是更精准一些，经过FPN校准后更精准。关于FPN校准我也准备后面再写一篇。

欢迎关注微信公众号【事件相机】，分享和交流事件相机的相关研究与应用。