这篇论文是基于上一篇BasicVSR优化修改的产物,BasicVSR可以看我之前的一篇博客。主要的模型结构如上图,主要的更改在于传播和对齐模块。
传播模块
网格传播
BasicVSR是简单的双向传播,IconVSR是在BasicVSR的基础上加入了Coupled Propagation,将反向传播的信息传输到正向。BasicVSR++在两个维度上扩充了这种变化,一方面,BasicVSR++将一阶马尔可夫过程扩展到二阶,获取相邻两帧的信息,(如第一层反向传播,从上两帧获取信息)。另一方面,又增加了两层传播层。
对齐模块
Flow-Guided Deformable Alignment(流引导对齐)
上图是流引导对齐的模型图,上面的图可能画错了,应该是 f ‾ i − 1 \overline f_{i-1}