【Unifying Motion Deblurring and Frame Interpolation with Events】阅读笔记

1.contribution

• 提出了一个基于事件的视频去模糊和插值的统一框架，可以从模糊输入中生成任意高帧率的清晰视频
• 自监督，无需标记数据

1.1 Problem Statement

公式（1）（2）（3）给出了问题的数学表示。其中，公式（2）（3）是公式（1）的两种情况。

• 输入是一个指定的时刻，两帧模糊图片，以及在这两帧之间的事件流
• 输出是输入的指定时刻的潜在图片，且该图片是清晰的

以区间[a,b]为例。 公式（2）（3）是公式（1）的两个特例。

当输入的时刻是a或b时，此时的任务变成去模糊化，即将给定时刻（a或b）的图片去模糊化（原因在于该任务实现的是输出清晰的潜在图片，这里潜在图片已经实际存在了）

当输入的时刻是（a，b）中的一个值时，此时的任务就变成了视频插值的问题，不同的是插值生成的帧需要是清晰的，而不是模糊的。

这样就将两个任务巧妙地结合在了一起。

1.2 问题的求解

公式（4）给出了图片同一时刻不同位置的亮度变化。（这里应该是根据事件相机确定事件的方式给出的）

由于公式（4）给出的是两个离散的时间点，而我们的任务是可以确定各个时刻的潜
在图像，因此要想办法能够表示连续时间内的潜在图像。观察公式（4）（5）可以
发现，在公式（4）中出现的时间点是t和tao，到了公式（5）中就变成了t和f。有
理由相信tao是是一个较早的时间点，t是之后的时间点，我们要想做到的就是预测
这两个时间点间任意一个时刻f的图片。因此采用了积分形式，对f时刻进行了的潜
在图像进行了刻画。

公式（6）给出了潜在图像和模糊图像的关系。

对公式（5）在时间t上积分，由于L(f)是一个具体时间的图像，因此可以认为是常
数提出因此得到了公式（7）（8），这样看来二重积分内外两层应该都是对时间进
行积分，不同的是，内层积分是在某一个时刻f到t的积分，外层积分是对曝光时间
段内积分（？？？？？？？？？内层影响外层？？）

接下来的一段工作，从公式（9）到公式（16），进一步明确了神经网络所要拟合的函数。

之前的工作应该都是认为，可以根据[a,b]的两个端点a和b来预测区间中的任何一个
点的值，原文称在补充材料中证明了在T外的任意时间也可以恢复潜在图片，但是之
前公式的推导都建立在T内的时间，因此对公式进行了变形等一系列变换处理，使得
这两种情况最后可以用统一的公式来表示，这样神经网络只需要拟合一个公式即可。

1.3 Loss

本文Loss由三部分组成，三部分的loss分别来自Blurry、sharp、event之间的限制关系，形成了Blurry-event Loss、Blurry-sharp Loss和Sharp-event Loss。

Blurry-event Loss：不同的模糊图片对某一固定时刻生成的图片应当是一致的（否则同一时刻就会出现不同的结果，就出错了），这就保证了每个时刻的图片是唯一的

如果这个网络确定了，那么就可以认为事件是唯一确定，学到了事件表示

Blurry-sharp Loss：由于我们清楚清晰图片如何生成模糊图片，并且这一过程可以认为是确定的，因此衡量该网络Loss就应该通过模糊图片来衡量，即用生成的清晰图片进行模糊，比较“再”模糊后的图片和原图片之间的差异即可认为是该网络的损失。

值得借鉴。但也产生了一个问题，真实的模糊应该是不能完全通过常规的积分手段来刻画的。

Sharp-event Loss：这里是利用了公式（5），经过算法N后（能否丢掉系数C）。公式（5）刻画的是两帧图片和门限c以及极性之间的关系。这里已知了清晰后的图片，自然就可以将去模糊后的图片与真实的事件流之间的差值作为损失。

这三个部分的损失，巧妙利用了模糊图片，潜在清晰图片以及事件三者之间的关系，建立起自监督体系的损失函数

2.knowledge

2.1 event camera

参考 事件相机概述与应用
事件相机可以捕捉像素变化的异步流，将之定义为“事件”，是一种仿生传感器。即使是高速运动的物体也没有运动模糊。

3.心得与不足

3.1 心得

本篇给人的最大感受就是数学公式多。是笔者首次阅读有如此繁多数学公式的一篇论文。不过好在各个公式的解释说明还算清楚。

3.2 不足

• 本文的一个特色就是采用了自监督的机制，理论上更能适用于真实的场景。但是在公式推导中，以及Blurry-sharp Loss中，对模糊帧的刻画还是采用一段时间清晰图片的积分合成的，应该会产生问题。
• 没有阐述Fusion部分的网络构成。