前言
基于Diffusion Model来做的超分辨,与以往基于GAN和CNN网络的不一样,Diffusion Model是从低分辨率图像中学习噪声然后通过UNet来估计噪声,再进行噪声去除来还原图像。主要是基于DDPM这篇论文的理论上进行改进的,相比其他方法来说可以很好的还原图像的高频信息,虽然在PSNR和SSIM指标上一般,但是实际出来的效果来说还是不错的,并且也证明了Diffusion Model这种生成模型在超分辨上方法也是可行的。
网络框架
这篇的网络框架基本是基于DDPM上面进行了略微的改进,区别是出来的图像不是随机生成的,是对低分辨率图像作为条件进行生成的。
主要分为两个阶段,一个是高斯噪声扩散过程,主要是在对模型进行训练的时候,给图像不断地添加随机的高斯噪声,然后通过UNet网络对噪声进行估计,通过估计之后的噪声与原添加的噪声进行对比,损失函数就是使得这两个噪声最可能接近,以此来训练出一个很好的噪声推理网络;第二个阶段是推理阶段,就是当训练好网络后,输入一张低分辨率的图片估计当前噪声然后进行推理直至还原到高分辨率。
Gaussian Diffusion Process
如上图所示就是训练阶段,原图x0对应的就是GT图像,首先均匀采样一个t和噪声z,然后通过上面那条式子估计出第t步的噪声图像xt,