这是张凯团队在ICCV2021上的图像盲超分的工作
摘要
背景:
当估计的退化模型与现实图像中的退化不一致时,单图像超分方法表现效果不好。尽管有些模型考虑到了额外的因素,如噪声,但仍不能很好覆盖现实图像中的多样退化。
贡献:
- 设计了一种针对于现实图像的退化模型。考虑到模糊、下采样以及噪声的更复杂退化.更重要的是,引入了退化重组策略。
- 使用本文提出的退化模型合成的训练数据去训练单图像盲超分网络,对含有多样退化的现实图像的重建效果显著。
- 这是首个工作,通过手动设计退化模型去实现图像盲超分。
- 本工作强调了精确退化建模对于基于DNN的单图像超分辨方法的实际运用的重要性。
具体模型
对于双三次和传统的退化模型有以下事实:
- 1.根据传统退化模型,模糊、下采样以及噪声是三大关键因素,影响着现实图像的退化。
- 2.因为LR与HR图像都可能是有噪声且模糊的,因此,没有必要采用模糊/下采样/加噪声的基准去生成LR图像。
- 3.传统退化模型的模糊核空间应该进行跨尺度的变化,这使得在非常大尺度的的问题上变得棘手。
- 4.尽管双三次退化不适用于真实LR图像,但可以用于数据增强,也可用于clean,sharp的图像超分。
基于上述事实受到的启发:
- 1.使得基于三大关键因素的退化空间尽可能的大以及尽可能真实。
- 2.通过对三大关键因素进行采用随机重组策略来扩大退化空间。
- 3.利用对模糊核的分析计算来从小尺度适应到大尺度。
- 4.在退化前对图像进行两倍的三次或者双线性下采样。