初识事件相机系列-数据集与仿真器

初识事件相机系列 - 数据集与仿真器

 

原创 董岩 3D视觉工坊 2月29日

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

在上次的推送中，我们介绍了事件相机的基本原理。这次简要介绍一些数据集和仿真器。

0、为什么需要数据集与仿真器？

在研究中，为了比较不同算法的优劣，研究人员不能用自己采集的数据，这样和别的方法比较没有太大的意义。所以公开的数据集是评价这些方法的通用数据。而仿真器，是按照事件相机的成像原理，模拟其生成数据的样子，可以便于使用者采集自己想要的数据。

当然最重要的一点，是事件相机目前价格较高，许多人无法像买USB相机这样随性购买。下面我们简单看几家公司的商品和售价：

 

（图：一些事件相机厂商的主流产品与价格，数据由个人业务咨询获得）

可以看到一款事件相机动辄几万。所以数据集和仿真器可以极大程度方便研究的进行，同时避免了硬件使用过程中的各种各样的问题。

1、数据集

在github官网整理出了许多数据集，更多细节请参考网址：https://github.com/uzh-rpg/event-based_vision_resources#datasets。包括的数据集有：光流、图像恢复、VO与SLAM、图像分割、图像识别等。下面介绍一些围绕SLAM的数据集。

ViViD: Vision for Visibility Dataset

提供Lidar，RGBD，EB，IMU等数据，室内：光照亮好/局部光照/没有光照+稳定运动/不稳定运动/极其不稳定运动，室外：白天/夜间，标定等数据，下载需要申请。

UZH-FPV Drone Racing Dataset

FPV飞机拍摄的室内/室外高速运动的场景

VSEC: The Multi Vehicle Stereo Event Camera Dataset: An Event Camera Dataset for 3D Perception, 2018

车载传感器，道路场景，配合有lidar/IMU等传感器，同时是少见的双目事件相机数据

DDD17: DAVIS Driving Dataset 2017

车辆驾驶场景，高速路，包括速度/GPS 等多种传感器数据；

DDD17+: 未发布，在准备论文。比 DDD17 多一些数据量。

伴随论文 “Event-based, Direct Camera Tracking from a Photometric 3D Map using Nonlinear Optimization” 公开的数据，主要为室内场景，包括 EB 和 RGBD，IMU。除此之外，还有少量的仿真和模拟数据。同时也是 Gallego 等人在 PAMI 2018 发表的 Event-Based, 6-DOF Camera Tracking from Photometric Depth Maps 论文使用的数据集

 

（图：DAVIS 240C Datasets部分数据。提供text和rosbag两种格式）

这里重点介绍一款SLAM数据集，DAVIS 240C Datasets，伴随论文 “The Event-Camera Dataset and Simulator: Event-based Data for Pose Estimation, Visual Odometry, and SLAM” 公开的数据集。

包括室内/室外/办公室/盒子/几何形状/室外行走/旋转等多段数据，个人认为是较为合适的通用场景的数据集，也是后续许多事件相机所采用的数据集，被后面的论文中描述为：introduced as a benchmark for event-based visual (inertial) odometry。同时里面的仿真器，是仿真器ESIM的早期工作（采用的是高速定频采样）。而ESIM采用了根据变化速率改变采样速率的方式，更加贴近真实情况（详见第3节和相关论文）。主要提供了两种数据格式：便于ROS下运行的.bag格式，与更普遍的.zip文件（包含最基础的数据event和image数据）。官方链接：http://rpg.ifi.uzh.ch/davis_data.html

2、数据集的运行

这里介绍两款数据集运行的软件，基于 java 环境的 jAER 与基于 ROS 环境的 rpg_dvs_ros。

jAER

jAER 是基于 java 环境的一款软件，可以读取一些格式的数据集，安装配置需要安装java的运行环境，同时支持 windows 和 linux。我个人尝试配置，总是会遇到各种问题，无论是 windows 还是 linux 都没配置成功。不建议使用。如感兴趣请访问：github：https://github.com/SensorsINI/jaer

rpg_dvs_ros

这个是ETH的Robotic and Perception Group开发的ROS环境下的运行软件，可以配套运行ETH许多开源的代码，感觉做得还算不错，可以考虑安装使用。具体安装方法参考github即可：https://github.com/uzh-rpg/rpg_dvs_ros

注意一点，ubuntu18安装的ROS为melodic，在执行上述链接的指令时，需要将catkin config这一句进行替换，否则可能会遇到问题。具体的替换内容参考了rpg_esim的wiki：https://github.com/uzh-rpg/rpg_esim/wiki/Installation-(ROS-Melodic)

3、仿真器

仿真器是“模拟事件相机生成数据方式”的软件，既然是模拟，那肯定与真实的不一样，但好歹可以尽可能的像。这里大力推荐ETH 的 ESIM。ESIM 也是基于 ROS 环境。

 

（图：(a) 之前仿真器采集原理 vs (b) ESIM 采集原理。ESIM 采用自适应采用方式采集数据，使变化速度快的时刻采样快，尽可能的保证了数据不丢失）

ESIM 的源码，参考 github：https://github.com/uzh-rpg/rpg_esim

安装过程也参考 github 上的 wiki 即可：https://github.com/uzh-rpg/rpg_esim/wiki/Installation

 

（图：ESIM仿真器运行环境）

除此之外，补充介绍两个仿真器，但不推荐使用。

一个是2012年的论文 “Live demonstration: Behavioural emulation of event-based vision sensors” 中提出的一款实时将USB相机数据转化为事件数据的仿真器，鉴于时间较早，不建议首先使用。

其次是 “Interiornet: Mega-scale multi-sensor photo-realistic indoor scenes dataset” 中构建的仿真器，这个仿真器极其强大，创建了上万种真实场景的三维模型，能够生成单目、双目、RGBD、事件相机等多种数据，但毕竟不是专业做事件相机的仿真器，随便看看就好。

4、结语

ETH 做了大量的在数据集、运行环境与仿真器方面的工作，从公开的代码来看，基本都采用了 ROS 环境。所以个人建议，一律采用 ROS 环境进行研究，方便使用前人的工作。

本文作者目前从事于事件相机SLAM问题的研究，欢迎大家交流。交流请移步相关研究博客：https://blog.csdn.net/tfb760/

category_9511063.html，或公众号后台回复「事件相机作者」，即可获得联系方式。

注：本文作者系「3D视觉从入门到精通」知识星球嘉宾。