初识事件相机系列- CVPR2020事件相机（Event Camera）研究文章汇总

初识事件相机系列 - CVPR2020事件相机（Event Camera）研究文章汇总

原创 董岩 3D视觉工坊 5天前

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

本文介绍了CVPR 2020中关于事件相机（Event Camera）的相关研究。所列举的论文由CVPR录取论文中通过关键字搜索得到，难免会有遗漏；同时由于涉及具体的方向较多，粗略学习可能理解不到位，难免产生错误。望阅读推送的朋友能够指出遗漏和错误。附原文打包下载，

公众号后台回复「CVPR2020_Event_Camera」，即可获得网盘下载链接。

1、降噪

Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras

使用"Event probability mask (EPM)"表述一个事件点是否为噪声，是一个概率。同时提出了一个衡量事件相机降噪效果的指标：Relative Plausibility Measure of Denosing (RPMD)；同时提出了一个降噪网络：Event Denosing CNN (EDnCNN)；同时给出了一个降噪数据集：DVSNOISE20。

2、去模糊与超分辨率

2.1 Joint Filtering of Intensity Images and Neuromorphic Events for High-Resolution Noise-Robust Imaging

文章提出了一个全新的优化框架，guided event filtering (GEF)。这个框架结合了普通相机和事件相机的数据，估计运动参数与导向滤波、超分辨率等任务，同时这个框架后续可以用于特征跟踪等任务。其基本思想是事件相机积累图的边缘，和传统图像的梯度，理论上是相同的。文中同样采用RPG提出的最大化对比度的方式进行运动参数估计，只是修正了目标函数，加入了灰度图像的梯度，减小了事件噪声的影响。

2.2 Learning Event-Based Motion Deblurring

文章提出了一个新型的端到端的去运动模糊的架构，在两大重要指标上达到了state-of-art；并提出一种方向性事件滤波方法，生成了更加清晰锐利的边缘信息。

2.3 Learning to Super Resolve Intensity Images from Events
由于事件相机的分辨率相对较低，文章提出了第一个直接有事件相机数据重建超分辨率图像的端到端的神经网络。

2.4 EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning

文章提出了一个网络，用于将低分辨率的事件相机图像，转为高分辨率的数据。整个网络具有三个阶段：重建、修复和超分辨率处理。重建部分采用单事件相机数据，通过网络得到图像数据，之后对重建后的图像进行修复、提升质量，在家通过超分辨率网络进行放大。网络在训练的过程中没有完整的图像作为ground truth，是一个无监督的学习过程。

3. 光流与运动

3.1 Single Image Optical Flow Estimation with an Event Camera

文章通过一张图片和对应的事件相机数据，对图像中的场景进行光流估计。文章提出了基于事件的亮度一致性约束（event-based brightness constancy constraint）对光流和事件数据的关系进行编码，同时提出图像模糊模型，能够处理模糊图像下的光流估计问题。从结果上看，超过了现有的 PWC-Net, FlowNet, SelFlow 等方法。

3.2 Learning Visual Motion Segmentation using Event Surfaces

文章提出了一个图卷积神经网络，用事件数据流对运动物体进行分割。首先将一段事件数据流生成物体的点云图，之后获得速度、边界等参数，从而能够进行3D运动分割、运动物体跟踪等任务。

4. 其他主题

4.1 3D人体位姿捕捉

EventCap: Monocular 3D Capture of High-Speed Human Motions using an Event Camera

本文提出了EventCap——第一个使用单目事件相机捕捉人体3D运动的方法。方法输入完整的图像序列，和对应的事件相机的数据，通过异步混合运动捕捉阶段，再进行细化，得到完整的人体3D位姿。

4.2 运动参数全局最优解

Globally Optimal Contrast Maximisation for Event-based Motion Estimation

RPG曾经提出了利用事件相机数据，估计相机运动参数的一个框架，这个框架采用最大化对比度或其他目标函数，来估计运动参数。然而这个框架中需要对运动参数有一个初步的估计，如果距离真值较远，只能获得局部最优解，而不是全局最优解。本文提出了计算全局最优解的方法，采用了branch-and-bound(BnB)思想。文章从数学角度推算了方法的边界。这种方法的计算效率远低于直接优化获得局部最优解，但得到的质量还是不错。

4.3 视频流转Events数据

Video to Events: Recycling Video Datasets for Event Cameras

RPG提出的一个将视频转成事件相机输出的一个网络，网络可以将一段儿视频转成对应的DVS输出，代码已开源：https://github.com/uzh-rpg/rpg_vid2e。通过该网络，可以将现有的大量视频数据集，转成对应的event数据，更好地方便learning。可以看出，RPG在learning的路上越走越远，已经不满足于模拟器、仿真器等这些相对低效的手段获取数据，而是直接从现有数据集转化。

本文仅做学术分享，如有侵权，请联系删文。