武汉大学计算机学院夏桂松,实验室硕士研究生王碧杉、何敬伟在ECCV上发表事件相机高质量图像重建论文...

实验室王碧杉硕士、何敬伟硕士，由余磊副教授、夏桂松教授和杨文教授的共同指导，在事件相机的图像重建方面的工作《Event Enhanced High-Quality Image Recovery》在2020年7月被ECCV会议接收。

ECCV，欧洲计算机视觉国际会议，两年一次，是计算机视觉三大顶级会议之一。

事件相机是基于生物仿生技术的新型视觉传感器，来源于神经形态工程中的仿生视网膜研究，利用芯片模拟生物视网膜对外界光强变化的感知过程。与传统相机输出的图像帧不同，事件相机是通过感知场景亮度变化的方式来异步地获取光强变化信息，输出包含像素位置、时间戳以及极性的时空事件流。相比较于传统相机，事件相机具有高时间分辨率、低延迟(1微秒)、高动态范围(>120dB)以及低功耗(10mW)、低冗余数据等特点。在高速运动、光照变化剧烈等传统相机面临巨大挑战的极端环境中，事件相机拥有巨大的应用潜力。

基于传统帧数据的算法无法直接应用于事件相机的事件数据，从事件流中重建灰度图像是必不可少的步骤。但是，事件相机捕获的事件流和APS帧中都存在大量噪声，且分辨率低，同时APS帧中经常有运动模糊的情况出现。

论文中推导了事件增强的图像退化模型，基于该模型，可以从带噪、模糊且低分辨率的观测图像中恢复清晰的高分辨率图像。再利用稀疏学习的框架，将事件流和低分辨率观测数据共同考虑，在论文中提出了一个可解释的网络，即事件增强的稀疏学习网络(eSL-Net),该网络能够从事件相机的事件数据和APS数据中恢复出高质量的图像。

其次，论文中提出了一种简单的事件流转化方法，在不需要重新训练网络的情况，可以拓展eSL-Net来实现高帧率高质量的视频恢复。

另外，论文中提出了一个包含对应低分辨率模糊图像、事件流和高分辨率清晰图像的仿真数据集，可用于相关网络的训练及验证实验。

eSL-Net在仿真数据集和真实数据上的图像重建效果都远优于当前的其他方法。