E2SRI: Learning to Super-Resolve Intensity Images from Events

最近要看一系列跟事件有关的论文
其他几篇都是2021年的
那就先精读这一篇~~~

E2SRI: Learning to Super-Resolve Intensity Images from Events

E2SRI：学习从事件中超分辨率强度图像

2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

Index Terms—Color Events, Event-based vision, High Dynamic Range, Image reconstruction, Neuromorphic camera, Super-resolution

关键词：

颜色事件、基于事件的视觉、高动态范围、图像重建、神经形态相机、超分辨率

这里可以看到这篇论文是主要是基于事件做图像的超分辨率。
然后通过摘要来读懂论文大概的工作~~

Abstract—An event camera reports per-pixel intensity differences as an asynchronous stream of events with low latency, high dynamic range (HDR), and low power consumption. This stream of sparse/dense events limits the direct use of well-known computer vision applications for event cameras. Further applications of event streams to vision tasks that are sensitive to image quality issues, such as spatial resolution and blur, e.g., object detection, would benefit from a higher resolution of image reconstruction. Moreover, despite the recent advances in spatial resolution in event camera hardware, the majority of commercially available event cameras still have relatively low spatial resolutions when compared to conventional cameras. We propose an end-to-end recurrent network to reconstruct high-resolution, HDR, and temporally consistent grayscale or color frames directly from the event stream, and extend it to generate temporally consistent videos. We evaluate our algorithm on real-world and simulated sequences and verify that it reconstructs fine details of the scene, outperforming previous methods in quantitative quality measures. We further investigate how to (1) incorporate active pixel sensor frames (produced by an event camera) and events together in a complementary setting and (2) reconstruct images iteratively to create an even higher quality and resolution in the images.

摘要
事件摄影机以低延迟、高动态范围（HDR）和低功耗的异步事件流形式报告每像素强度差异。这种稀疏/密集的事件流限制了著名的计算机视觉应用程序对事件摄影机的直接使用。将事件流进一步应用于对图像质量问题敏感的视觉任务，例如空间分辨率和模糊，例如目标检测，将受益于更高的图像重建分辨率。此外，尽管最近在活动摄像机硬件的空间分辨率方面取得了进展，但与传统摄像机相比，大多数商用活动摄像机的空间分辨率仍然相对较低。我们提出了一种端到端的递归网络，直接从事件流重建高分辨率、HDR和时间一致的灰度或彩色帧，并将其扩展以生成时间一致的视频。我们在真实世界和模拟序列上评估了我们的算法，并验证它重建了场景的细节，在定量质量度量方面优于以前的方法。我们进一步研究如何（1）将活动像素传感器帧（由事件摄影机生成）和事件合并到互补设置中，（2）迭代重建图像，以在图像中创建更高的质量和分辨率。

一、INTRODUCTION（介绍）

图像超分辨率（SR）任务通常旨在从数据的上下文中添加看不见的细粒度细节，或者从数据的上下文通过学习基于相似捕获场景的自然图像分布，或从先前或后续帧的顺序捕获数据到当前帧的关联，在单个帧中捕获。

我们表明，这也可以应用于事件摄影机捕捉的短事件流。由于我们的目标是创建一个包含丰富事件细节的高维强度帧，因此对事件强度帧进行超分辨率处理需要从事件摄影机输出流的不同部分添加有意义的细节，而不是以事件本身的形式，但以事件摄影机感知到的重建底层场景的形式。

我们的目标是直接学习以端到端的方式从事件中估计像素级的超分辨率视频，并证明我们的方法能够以丰富的细节和较少的伪影超分辨率强度帧，这在定性和定量分析方面都优于流水线式的最先进方法。

特别是，我们的方法将一段时间内的事件堆栈序列作为输入与估计的光流相结合，并将它们成对地关联起来，以创建SR网络（SRN et）的校正输入表示。我们使用带有剩余连接的递归卷积神经网络从事件流中同时重建和超分辨率强度视频帧。顺序输出最终混合以创建一个输出图像。我们定义了损失项，以增加视觉上令人愉悦的结构细节，并在整个重建帧中加强时间一致性。所提出的网络架构允许我们创建高质量的输出，其性能优于最近的方法。

与我们之前重建高质量超分辨率强度图像的方法不同，我们解决了随时间生成高度一致的帧的问题。为了进一步加强时间一致性，我们提出了一种新的损失函数。新的损失函数加上我们的循环路径，可以在一段时间内重建出令人愉悦的强度图像。我们还评估并进行了多次消融研究，通过定量评估时间一致性来证明该方法的有效性。此外，我们还从颜色事件中重建了彩色视频帧。我们还扩展了我们的设计，将低分辨率（LR）图像与事件结合在一起，以更高质量重建超分辨率输出（free）；或者，我们在第二遍（DuoPass）中添加了缺失的细节，从而进行了两次推理。

二、RELATED WORK（相关工作）

论文工作在图像重建、视频重建、全监督、端到端培训、超分辨率、仅培训模拟器等就几个方面都能实现。

三、EVENT STACKING（事件叠加）

十二、CONCLUSION（总结）

我们提出了一种基于递归残差设计的全卷积端到端神经网络直接从事件（或神经形态）相机的事件流重建高分辨率强度帧的方法。我们证明，在相同大小和超分辨率的图像重建中，与最先进的方法相比，我们的方法可以重建具有精细细节的高质量强度帧；我们的方法特别防止了可能的错误重建传播到超分辨率输出。在多个质量指标方面，该方法优于最近的事件到强度帧重建方法，并且在视频重建时获得了较低的时间一致性误差。我们进一步将强度帧重建方法扩展到互补扩展，除了事件之外，它还进一步利用APS帧来创建照片级真实感HR强度帧，以及Duo Pass延伸，它在原始设置之外执行额外的过程来添加缺失的细节。