论文阅读 | Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera

前言：这是一篇事件相机面向去糊方向的文章。发表在了CVPR2019 oral，之后也改进出了一篇PAMI。内容主要是对事件相机的成像原理和图片的模糊原理进行建模，整理出公式并给出了优化函数，通过不断调整阈值C似的图像变得锐利清晰。
论文：【here】
代码：code

Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera

目的

根据事件相机拍到的一张模糊图片（或是低帧率视频）和一系列事件点，还原出高帧率的锐利且清晰的视频。
不同于一些传统方法的去糊工作，即一张模糊图片还原出一张清晰图片。

主要思想

先构建一个潜在帧的概念。
潜在帧即假设可以用事件相机记录下来的高帧率帧，然而事件相机记录的是事件点，理论上我们可以通过事件点还原出每个潜在帧。
假设强度帧intensity frame不是模糊的，我们可以构建f时刻的锐利帧和事件点之间的关系，即我们可以直接用事件积分来表示不同时刻图像之间的残差。

即对应T时刻的图像I_t
$$I_t=I_f+E(t)=I_f+{\int }_t^{f}e(s)ds.$$

然而这只是一个理想的情况，因为它只对于边缘锋利的清晰帧可行。
对于模糊帧，我们先要找到模糊帧与锐利帧之间的关系，再根据上式某时刻锐利帧和事件之间的关系，我们即可以恢复出每个时刻的锐利帧。

模糊帧和锐利帧之间的关系如下：

在第f时刻的模糊帧，其实是这一段T时刻的锐利帧的积分取平均（这里假设锐利帧和模糊帧的帧率差距很大）

结合模糊帧和锐利帧之间的关系和锐利帧和事件点的关系，可以构造出一个双积分模型：

外面的积分是模糊帧的积分，里面的积分是事件点叠加的积分。就这样，可以利用已有的一张模糊帧和一系列事件点，生成一系列锐利帧。

优化函数

以上的公式中有一个变量未知，即事件相机出发事件的阈值C。我们可以通过不断调整阈值C，来获得一个最满意的去糊结果。因此，本文还构建了一个优化函数，通过不断调整C，使得公式中的优化损失最小。
优化思想是：用事件积分得到的模型会更不容易受到噪声影响。因此得到两幅图，事件积分的图片和生成的锐利帧，对两幅图取sobel算子得到边缘，边缘应该足够接近。这里的接近程度用互相关表示。

其次，我们也希望生成的锐利帧的噪声小，保持边缘，因此需要惩罚空间波动。

于是最终的优化函数就变成了：

这里作者放了一些中间结果图来阐释优化的作用：

总结

这篇文章作者主要从成像原理的角度对事件相机的两类成像进行了建模，并用Matlab进行了实验，这对很多之后的深度学习方法很有启发，之后的一些卷积神经网络架构即建立在本文的原理上。