阅读笔记 | Unsupervised Video Interpolation Using Cycle Consistency

Unsupervised Video Interpolation Using Cycle Consistency

文章下载地址：here
该文章是NVIDIA团队基于superslomo提出的无监督学习版本视频插帧方法，发表于ICCV2019。

周期一致性cycle consistency

周期一致性是这篇文章的主要贡献点。

主要思想为：连续插帧后的两帧可以作为输入帧，由此得到的中间帧GroundTruth是原有的输入帧。如下图：

即蓝色的部分和红色的部分分别对应连续的前后两帧插帧，黄色的部分是得到的结果帧作输入帧新进行的插帧。因此，无监督学习应该满足公式：

$${\hat{I}}_t=M(I_0,I_1,t)$$ $${\hat{I}}_t=M(M(I_0,I_1,t),M(I_1,I_2,t),1-t)$$
以及损失函数应该满足：$$\underset{\theta (M)}{\mathrm{argmin}}(\Vert {\hat{I}}_1-I_1{\Vert }_1)$$

使用无监督学习，可以达到和监督学习近似的效果，但是用的训练数据会少很多。其中，作者指出了亮点值得注意的地方

1. 如上图cycle consistency 的图所示，若学习到的中间插帧是$${\hat{I}}_1=I_1$$这样 可以使损失最小，即模型退化为只复制I0，然而这是不太可能的，因为这要求模型能识别正向的时间信息，而前后的分别对应着t=1和t=0的输入，因此只学习到t=0或t=1是困难的。 这里的原文如下：

A degenerate solution to optimizing equation 3 might be to copy the input frames as the intermediate predictions (i.e.outputs). However, in practice this does not occur. In order for M to learn to do copy frames in this way, it would have to learn to identify the input’s time information within a single forward operation (eq. 2), as I1 is a t = 1 input in the first pass, and I1 is a t = 0 input in the second pass. This is difficult, since the same weights of M are used in both passes.

2.可以将时间放缩一下，用前后三帧的输入帧作为一次插帧的组合，中间帧作为GroundTruth,然而这会造成时间周期更长，没有周期一致性的限制会使效果变差。

It is true that triplets of input frames could be exploited directly. For example, the reconstruction error between M(I0,I2, t = 0.5) and I1 could be used without cycle consistency. However, our experiments in Section 4.4.2 suggest that such objectives, which model interpolation over a larger timestep, lead to significantly worse accuracy if used without cycle consistency.

其次，作者还提出了一种利用周期一致性作fine-tuing的方法，利用此方法，能更好的适应数据集环境的变化，并且提升插帧精度。
这里作者提出的损失为：$$\underset{\theta (M)}{\mathrm{argmin}}(\Vert {\hat{I}}_1-I_1{\Vert }_1+\Vert I_t-F({\hat{I}}_0,I_1,t){\Vert }_1+\Vert I_{t+1}-F({\hat{I}}_1,I_2,t){\Vert }_1)$$
其中，F是预训练模型训练后的插帧函数。
最后的损失函数由L1损失，感知损失和翘曲损失加权形成。

第四章是作者做的一些实验：


这里的 CC （cycle consistency）， PS（ pseudo supervised）,即分别为无监督学习和微调模型。除此之外，作者还进行了实验，证明cycle consistency不仅在superslomo模型上效果好，用于别的模型效果也会提升。

还有一个比较有意思的消融实验，当作者将周期一致性用于大时间间隔的插帧时，可以弥补大时间间隔的缺陷。如Tabel 7所示。