论文:High Speed and High Dynamic Range Video with an Event Camera
代码:code
前言:这篇文章很久之前看过了,现在重温一遍,网不好一直不好预训练模型和数据集下不下来,于是跳过代码部分,就浅浅谈一下感受吧。
文章的主要目的:从事件流中重建图像
这么做的好处有:
- 高帧频记录更多的细节
- HDR防昏暗或曝光
- 低功耗(这里是我觉得的事件相机的一个优势,但在文章中没有怎么体现)
文章的一个大致介绍背景如图所示
文章的贡献点:
- 提出一种新型的循环网络来重建视频,效果很好
- 训练出了一个模型可以用于真实事件的图像重建/视频重建
- 定性的结果表示我们的模型可以用于高帧率视频合成、高动态范围视频重建、彩色视频重建。
- 用时间合成的视频可以直接用于下游任务,目标分类和视觉惯性测程法,优于目前直接用事件处理的方法
网络架构图如下
损失函数:
感知损失+光流的约束
LPIPS+