目录
一、相关工作
1.1、真实图像的盲去噪
去噪方法可以分为两种:盲去噪和非盲去噪。一般的去噪方法主要是解决高斯噪声分布已知的非盲去噪问题。然而,现实世界的噪声是高度复杂和不可预测的,因为噪声可以有多个来源,如暗电流噪声和热噪声。最先进的dcnn,如FFDNet[47]和DnCNN[46]可以导致非盲去噪的显著改进,但无法完全消除现实世界的盲噪声。这篇文章专注于解决对真实世界的噪声图像进行盲去噪的问题。
首先介绍怎么对上述噪声建模:
一般依赖信号的噪声观测模型可以简化为异方差高斯模型n(L),其计算方法如下:
L是原始像素的辐照度图像,是平稳噪声分量的方差,是依赖于信号的噪声分量的空间变异噪声方差。
一个真实的噪声模型可以用以下公式表示:
其中x是噪声图像,表示摄像机响应函数。表示用于将sRGB图像转换为拜耳图像的函数。表示马赛克镶嵌函数,表示JPEG压缩功能。
1.2、RSGAN
给定训练数据,鉴别器的输出为。其中C(x)为的输出非变换层,鉴别器的对抗损失函数为:
在训练过程中,最小化该损失函数,以增加真实样本比生成器提供的假样本更真实的可能性。同理,生成器的对抗损失函数如下:
最小化该损失以增加生成的样本比对应的真实样本更真实的概率。RSGAN的对抗性损失有助于防止GANs的不稳定性,提高生成图像的质量。
二、方法
HI-GAN由三个生成器组成:,以及一个鉴别器:。
和一起训练。独立训练,避免鉴别器不稳定性的影响,只关注增加PSNR和SSIM值,可以获得较高的PSNR值,但也会产生过度平滑效应,导致高频细节和低对比度特征的丢失。相比之下,可以保留更多的纹理和边缘,但由于的不稳定性,其PSNR值较低,可能会产生不真实的细节和特征。为此,作者又提出了,利用和的去噪图像作为输入,生成一个合成图像。对进行训练,生成一个接近于真实干净的合成图像。
2.1、训练和
RSGAN的鉴别器和生成器损失函数如下:
其中P是真实样本的分布,Q是虚假样本的分布,C(x)为的输出非变换层。
本文还构建了一个DenseNet网络,该网络由4个密集块组成。给定一个图像对,应用于生成器的DenseNet损失函数的适当值为:
其中。
因此,式(13)变成:
2.2、训练
损失如下:
其中是生成的去噪图像,等式右边两项和前边叙述的形式一样。
2.3、训练
由和生成的去噪图像被拼接并作为的输入,以生成更好的去噪图像。损失如下:
其中是生成的去噪图像,等式右边两项参考前边描述的。
三、模型结构
四、实验结果
代码:https://github.com/ZeroZero19/HI-GAN.git