超分论文笔记2020CVPR视频超分：Zooming Slow-Mo- VSR with Temporal Group Attention-TDAN

Space-Time Video Super-Resolution (STVSR) 问题定义：
从一个低像素低帧率恢复出高帧率高分辨率的视频。

1.Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution

代码链接

1.1 总结

之前的一些方法采用手工制作的正则化方法，并做出比较强的假设，这些方法限制了模型的容量和扩展到更多样的模式，同时计算量大。
现在的一些深度学习的方法，一种直接的方法是组合对视频插针和视频超分，形成一个two-stage方式。先对LR视频进行查证，然后重建高分辨率图像。然而这两部分是结合在一起的，使用two-stage的方式将这两部分分开。
作者提出了一个统一的one-stage STVSR框架通过做时间和空间的超分。提出了自适应学习一个可变形的特征插值函数来临时插值中间LR帧特征，而不是像两阶段方法那样合成像素级LR帧。插值函数可以集合local temporal contexts，可以处理复杂的运动。同时引入了一个新的可变性的ConvLSRM模型利用全局纹理信息，并同时进行时空对齐和聚合。然后通过一个深度SR重建网络从聚合的LR特征重建HR视频。

1.2 方法

任务设定：
给了低帧低分辨率视频序列： I L = { I 2 t − 1 L } t = 1 n + 1 I^{L} = \{I_{2t-1}^L\}_{t=1}^{n+1} IL={I2t−1L​}t=1n+1​，重建出对应的高分辨率慢动作视频序列： I H = { I t H } t = 1 2 n + 1 I^H = \{I_t^H\}_{t=1}^{2n+1} IH={ItH​}t=12n+1​。对于中间从帧 { I 2 t H } t = 1 n \{I_{2t}^H\}_{t=1}^n {I2tH​}t=1n​，没有对应的低像素输入。
作者提出了一个一阶段的空间时间超分框架。包括了四部分：

• feature extractor
• frame feature temporal interpolation module
• deformable ConvLSTM
• HR frame reconstructor
  

1.2.1 Frame Feature Temporal Interpolation

这个模块的设计如下所示。以往的方法是先得到中间帧的低分辨率图像，其实就是把视频超分分成了两部分。这个网络是直接得到中间帧的特征，然后通过上一帧，中间帧和下一帧的低分辨率特征做超分。
所以这个模块主要是做中间层的特征。让前一帧得到一个前向运动信息，后一帧得到后向运动信息，合在一起得到中间帧的特征，所以得到了两个offset field。然后通过一个混合函数得到最后的特征。
$$F_2^L=\alpha \ast T_1(F_1^L,{\Phi }_1)+\beta \ast T_3(F_3^L,{\Phi }_3)$$
这里觉得还挺不错的，$\alpha$ 和 $\beta$ 是两个可学习的 $1\times 1$ 卷积核。然后得到了中间帧的特征~~

1.2.2 Deformable ConvLSTM

使用一个sequence-to-sequene mapping，除了从对应的低像素图片做超分，还集合了相邻帧的时序特征。使用了ConvLSTM结构。然而convLSTM只能通过小的感受野隐式捕获运动信息。这个时候$h_{t-1}$和$c_{t-1}$传递的是不匹配的噪声，而不是全局信息。重建的图像会有伪影。于是作者显示地嵌入了一个具有可变形对齐的状态更新单元。

$g_h$和$g_c$卷积运算，$\Delta p_t^h$ 和 $\Delta p_t^c$是预测的偏差，$h_{t-1}^a$和$c_{t-1}^a$是对齐的隐藏状态和单元格状态。相比以往的，这里显示地将$h_{t-1}$和$c_{t-1}$与 $F_t^L$对齐。此外，为了充分挖掘时间信息，我们以双向方式使用可变形ConvLSTM。将时间反转的特征映射到同一个可变形的convLSTM中，并将前向和后向的隐藏状态串联起来作为最终的隐藏状态ht，用于HR帧重建。

1.2.3 Frame Reconstruction

$$l_{rec}=\sqrt{||I_t^{GT}-I_t^H|{|}^2+{ϵ}^2}$$

2. Video Super-resolution with Temporal Group Attention

代码地址

2.1 总结

作者提出一个新的方法，可以有效地将时间信息以分层的方式合并。输入的序列被分成几个组，每一个组对应一个帧率，这些组提供了恢复丢失细节的补充信息，之后进一步与注意模块和深层组内融合模块集成在一起。

2.2 方法

给定一个连续的低分辨率视频序列，$I_t^L$和$2N$个相邻的帧 { I t − N L : I t − 1 L , I t + 1 L : I t + N L } \{I_{t-N}^L: I_{t-1}^L,I_{t+1}^L:I_{t+N}^L\} {It−NL​:It−1L​,It+1L​:It+NL​}，通过相邻帧的时空信息重现出高分辨率的视频序列 。${\hat{I}}_t$。

2.2.1 Temporal Group Attention

输入不同帧率的视频序列
Temporal Grouping
将原来$2N$帧图片分成 { G 1 , . . . , G n } , n ∈ [ 1 : N ] \{G_1, ..., G_n\}, n \in [1:N] {G1​,...,Gn​},n∈[1:N]组，每一组记成 G n = { I t − n L , I t L , I t + n L } G_n = \{I_{t-n}^L, I_t^L, I_{t+n}^L\} Gn​={It−nL​,ItL​,It+nL​}。所以网络可以泛化到任意帧的输入。这样可以更好地提取特征，特别是有一些帧有遮挡现象之类的。
Intra-group Fusion
Inter-group Fusion with Temporal Attention
对每个组，得到一个一通道的特征层$F_n^g$，计算每个channel的权重，然后再时间轴上使用softmax根据$F_n^g$计算attention maps。最后attention weighted feature可以这样计算得到$${\hat{F}}_n^g=M_n\odot F_n^g,n\in [1:N]$$

2.2.2 Fast Spatial Alignment

先检测出interest point，然后再建立点之间的对应关系。以往对每个点都做的光流法，会比较容易引进pixel-level的失真，同时是独立地做邻帧和参考帧的预测，会带来很多冗余的计算。

3.TDAN: Temporally-Deformable Alignment Network for Video Super-Resolution

代码地址

3.1 总结

对于VSR，有个重要的问题时如何对齐supporting frames 和 reference frames。之前主要有光流估计和image warp操作，这些方法容易引进伪影。使用光流方法也不易得到高质量的运动估计。即使有比较准确的运动场，imagewarp会产生伪影。作者采用了一个不依赖于光流的方法。同时，由于固定核设置，CNN在对几何变形有固有的局限，以往也有通过可变形卷积的操作实现高层任务。所以作者引进了可变形卷积。

3.2 方法

问题设置：
输入为$I_t^{LR}\in R^{H\times W\times C}$，输出为$I_t^{HR}\in R^{sH\times sW\times C}$，$s$是上采样倍数。输入除了$I_t^{LR}$，还有supporting LR frames { I t − N L R , . . . , I t − 1 L R , I t + 1 L R , . . . , I t + N L R } \{I_{t-N}^{LR}, ... ,I_{t-1}^{LR},I_{t+1}^{LR},...,I_{t+N}^{LR}\} {It−NLR​,...,It−1LR​,It+1LR​,...,It+NLR​}，总共输入了连续的$2N+1$ 帧，网络包括一个时序变形对齐网络（TDAN）和一个超分重建网络。最后得到目标帧的超分图。

3.2.1 Temporally-Deformable Alignment Network

将support frame序列和参考帧对齐。包括三个部分

• feature extraction
• deformable alignment
• aligned frame reconstruction 这里还用了一个对齐loss作为让变形对齐模块可以采样到有用的信息。

3.2.2 SR Reconstruction Network

• temporal fusion 先做concatenate,然后卷
• nonlinear mapping 将shadow融合特征作为输入然后得到deep feature
• HR frame reconstruction 提取特征后，通过ESPCN的方法实现重建

3.2.3 Loss

$$L_{align}=\frac{1}{2N}\sum _{i=t-N,\ne t}^{t+N}||I_i^{L{R}^{{}^{\prime }}}-I_t^{LR}|{|}_2^2$$
$$L_{sr}=||I_t^{H{R}^{\prime }}-I_t^{HR}|{|}_2^2$$
$$L=L_{align}+L_{sr}$$
第一个loss没有label，所以作者将reference frame的特征作为gt。