1、Blind VSR
-
Deep Blind Super-Resolution for Satellite Video (TGRS23) IEEE TGRS 2023] Deep Blind Super-Resolution for Satellite Video (github.com)
-
Self-Supervised Deep Blind Video Super-Resolution (TPAMI24)csbhr/Self-Blind-VSR: This repository is the official implementation of our TPAMI paper : Self-Supervised Deep Blind Video Super-Resolution (github.com)
-
Deep Blind Video Super-Resolution (ICCV21) csbhr/Deep-Blind-VSR: This repository is the official implementation of our ICCV2021 paper : Deep Blind Video Super-resolution (github.com)
-
Expanding Synthetic Real-World Degradations for Blind Video Super Resolution(CVPR23)
2、Self-Supervised Deep Blind Video Super-Resolution(TPAMI24)
-
自监督在盲视频超分辨率方向的应用;
-
不需要配对的训练数据;
-
不需要HR videos和其他的HR videos作为监督,恢复出了比监督算法更好的纹理细节和真实性;
2.1 存在的问题
-
目前对于盲图像超分的研究比较多,鲜有研究盲视频超分的工作:
-
1、盲视频超分中退化类型多,模糊核模糊和运动模糊;
-
2、视频中的信息相比于图像多,对于盲视频超分来说,需要充分利用视频中的信息,如时序,模糊信息;
-
-
目前的一些VSR的方法假设HR videos是已知的,然后通过自定义下采样的方式构造HR-LR视频数据:
-
1、真实情况下只有LR没有HR帧,无法提供监督信号;
-
2、退化下采样未知,无法定义其退化空间;
-
2.2 提出的方法
-
提出了一种有效的VSR自监督学习算法,该算法不需要任何成对或不成对的数据集作为监督;
-
通过估计的模糊核和光流构建LR视频帧的下采样帧LR',用来构建辅助损失;
-
端到端的将模糊核估计、光流估计、HR帧恢复集成到一起;
2.3 网络结构
-
网络整体由两大部分组成:1、模糊核估计网络;2、VSR恢复网络;
-
损失由于没有HR,是通过自监督的生成LR来计算的;
2.3.1 Blur kernel estimation
-
相比于盲图像中的模糊核估计,不同之处是模糊核估计网络的输入是不同的;
-
对于blind-SR,估计的是单个图像中的模糊信息;
-
对于blind-VSR,模糊核信息是从一组视频帧序列中估计得到的;
-
-
模糊核估计出来之后的作用与以往的模糊核估计网络用处不同:
-
以往的模糊核估计网络,会将估计出的模糊核用于指导SR网络;
-
本文的模糊核估计出来是为了构建辅助的LR'帧序列;
-
模糊核估计约束:
-
为了确保模糊核的稀疏性,对模糊核信息加以正则损失,\alpha是超参数;
3.3.2 Self-supervised learning
-
自监督训练是LR帧上学习的,分为了两个分支Main branch和Auxiliary branch:
-
Main branch分支是先经过VSR超分网络再进行退化得到退化的LR帧并和原始的LR的输入帧计算损失;
-
Auxiliary branch分支是先下采样再超分得到辅助的LR帧并和原始的LR帧计算损失;
-
-
通过Auxiliary branch的self-supervised可以使网络学习到更加准确合理的退化;
-
N_I是VSR超分网络,L_i^{e,w}是对LR下采样之后的帧进行对齐之后的特征;
-
总体自监督的损失:
2.4 实现细节
2.4.1 数据集
-
训练数据集为REDS,测试集为REDS4、VID4、SPMCS:
-
对于数据集的模糊操作,使用的是KernelGAN中的模糊方式;
-
针对的scale为4,模糊的范围为0.4-2.0;
-
2.4.2 训练设置
-
只使用生成的LR视频帧,不适用HR视频帧;
-
对于其他的模型使用官方训练好的模型;
-
\lambda和\gamma的设置为1和0.04
2.5 实验和消融
2.5.1 实验结果
-
REDS4加模糊数据集上的实验结果
-
VID4上加模糊的实验结果
-
真实场景的可视化
2.5.2 消融实验
对自监督策略的消融
-
(9)为Auxiliary LR帧的自监督损失,(6)为模糊核稀疏化的正则损失;
-
(5)为Degraded LR帧的自监督损失;(5)只用来更新模糊核网络,如果同时更新VSR网络会使模型错乱;
-
使用HR videos作为监督信号,结果表明本文自监督策略训练bind VSR的有效性;
对模糊核的消融
-
当不适用(6)和(9)来约束网络时,模糊核估计的会和GT有所偏差
真实场景的fine-tuning
-
由于不需要HR videos的监督,因此本文的方法可以在真实的LR视频帧上进行fine-tuning;
-
用过fine-tuning可以降低模型的NIQE指标(越低越好),并且可视化效果也会变好;
2.6 不足之处
-
模型所针对的退化设置不够丰富,可能在更加复杂的退化上效果会不好;
-
模糊核估计的和真实GT模糊核还有所偏差,且真实场景下是没有GT模糊核监督的;
-
对于模糊核的使用是用来下采样LR以构造自监督的训练范式,但没有将估计出的模糊核利用到超分网络;