自监督的盲视频超分（TPAMI24）

1、Blind VSR

• Deep Blind Super-Resolution for Satellite Video (TGRS23) IEEE TGRS 2023] Deep Blind Super-Resolution for Satellite Video (github.com)

• Self-Supervised Deep Blind Video Super-Resolution (TPAMI24)csbhr/Self-Blind-VSR: This repository is the official implementation of our TPAMI paper : Self-Supervised Deep Blind Video Super-Resolution (github.com)

• Deep Blind Video Super-Resolution (ICCV21) csbhr/Deep-Blind-VSR: This repository is the official implementation of our ICCV2021 paper : Deep Blind Video Super-resolution (github.com)

• Expanding Synthetic Real-World Degradations for Blind Video Super Resolution（CVPR23）

2、Self-Supervised Deep Blind Video Super-Resolution（TPAMI24）

• 自监督在盲视频超分辨率方向的应用；

• 不需要配对的训练数据；

• 不需要HR videos和其他的HR videos作为监督，恢复出了比监督算法更好的纹理细节和真实性；

2.1 存在的问题

• 目前对于盲图像超分的研究比较多，鲜有研究盲视频超分的工作：

  • 1、盲视频超分中退化类型多，模糊核模糊和运动模糊；

  • 2、视频中的信息相比于图像多，对于盲视频超分来说，需要充分利用视频中的信息，如时序，模糊信息；

• 目前的一些VSR的方法假设HR videos是已知的，然后通过自定义下采样的方式构造HR-LR视频数据：

  • 1、真实情况下只有LR没有HR帧，无法提供监督信号；

  • 2、退化下采样未知，无法定义其退化空间；

2.2 提出的方法

• 提出了一种有效的VSR自监督学习算法，该算法不需要任何成对或不成对的数据集作为监督;

• 通过估计的模糊核和光流构建LR视频帧的下采样帧LR'，用来构建辅助损失；

• 端到端的将模糊核估计、光流估计、HR帧恢复集成到一起；

2.3 网络结构

• 网络整体由两大部分组成：1、模糊核估计网络；2、VSR恢复网络；

• 损失由于没有HR，是通过自监督的生成LR来计算的；

2.3.1 Blur kernel estimation

• 相比于盲图像中的模糊核估计，不同之处是模糊核估计网络的输入是不同的；

  • 对于blind-SR，估计的是单个图像中的模糊信息；

  • 对于blind-VSR，模糊核信息是从一组视频帧序列中估计得到的；

• 模糊核估计出来之后的作用与以往的模糊核估计网络用处不同：

  • 以往的模糊核估计网络，会将估计出的模糊核用于指导SR网络；

  • 本文的模糊核估计出来是为了构建辅助的LR'帧序列;

模糊核估计约束：

• 为了确保模糊核的稀疏性，对模糊核信息加以正则损失，\alpha是超参数；

3.3.2 Self-supervised learning

• 自监督训练是LR帧上学习的，分为了两个分支Main branch和Auxiliary branch:

  • Main branch分支是先经过VSR超分网络再进行退化得到退化的LR帧并和原始的LR的输入帧计算损失；

  • Auxiliary branch分支是先下采样再超分得到辅助的LR帧并和原始的LR帧计算损失；

• 通过Auxiliary branch的self-supervised可以使网络学习到更加准确合理的退化；

• N_I是VSR超分网络，L_i^{e,w}是对LR下采样之后的帧进行对齐之后的特征；

• 总体自监督的损失：

2.4 实现细节

2.4.1 数据集

• 训练数据集为REDS，测试集为REDS4、VID4、SPMCS:

  • 对于数据集的模糊操作，使用的是KernelGAN中的模糊方式；

  • 针对的scale为4，模糊的范围为0.4-2.0；

2.4.2 训练设置

• 只使用生成的LR视频帧，不适用HR视频帧；

• 对于其他的模型使用官方训练好的模型；

• \lambda和\gamma的设置为1和0.04

2.5 实验和消融

2.5.1 实验结果

• REDS4加模糊数据集上的实验结果

• VID4上加模糊的实验结果

• 真实场景的可视化

2.5.2 消融实验

对自监督策略的消融

• (9)为Auxiliary LR帧的自监督损失，(6)为模糊核稀疏化的正则损失；

• (5)为Degraded LR帧的自监督损失；(5)只用来更新模糊核网络，如果同时更新VSR网络会使模型错乱；

• 使用HR videos作为监督信号，结果表明本文自监督策略训练bind VSR的有效性；

对模糊核的消融

• 当不适用(6)和(9)来约束网络时，模糊核估计的会和GT有所偏差

真实场景的fine-tuning

• 由于不需要HR videos的监督，因此本文的方法可以在真实的LR视频帧上进行fine-tuning；

• 用过fine-tuning可以降低模型的NIQE指标(越低越好)，并且可视化效果也会变好；

2.6 不足之处

• 模型所针对的退化设置不够丰富，可能在更加复杂的退化上效果会不好；

• 模糊核估计的和真实GT模糊核还有所偏差，且真实场景下是没有GT模糊核监督的；

• 对于模糊核的使用是用来下采样LR以构造自监督的训练范式，但没有将估计出的模糊核利用到超分网络；