HI-GAN:一种用于真实照片盲去噪的分层生成对抗网络

最新推荐文章于 2024-04-29 18:39:56 发布

RrS_G

最新推荐文章于 2024-04-29 18:39:56 发布

阅读量2.1k

点赞数 4

文章标签：生成对抗网络人工智能机器学习

本文链接：https://blog.csdn.net/RrS_G/article/details/125699246

版权

一、相关工作

1.1、真实图像的盲去噪

去噪方法可以分为两种:盲去噪和非盲去噪。一般的去噪方法主要是解决高斯噪声分布已知的非盲去噪问题。然而，现实世界的噪声是高度复杂和不可预测的，因为噪声可以有多个来源，如暗电流噪声和热噪声。最先进的dcnn，如FFDNet[47]和DnCNN[46]可以导致非盲去噪的显著改进，但无法完全消除现实世界的盲噪声。这篇文章专注于解决对真实世界的噪声图像进行盲去噪的问题。

首先介绍怎么对上述噪声建模：

一般依赖信号的噪声观测模型可以简化为异方差高斯模型n(L)，其计算方法如下:

L是原始像素的辐照度图像， $\sigma ^2 _c$ 是平稳噪声分量 n_c 的方差， $L \cdot \sigma ^2 _s$ 是依赖于信号的噪声分量 n_s 的空间变异噪声方差。

$n(L)\sim \mathbb{N}(0,\sigma ^2(L))$

一个真实的噪声模型可以用以下公式表示:

其中x是噪声图像， f_r 表示摄像机响应函数。 f_c 表示用于将sRGB图像转换为拜耳图像的函数。 $f_m f_c (\cdot )$ 表示马赛克镶嵌函数， f_j 表示JPEG压缩功能。

1.2、RSGAN

给定训练数据 $\widetilde{x}=(x_r,x_f)$ ，鉴别器的输出为 $D(\widetilde{x})=sigmoid(C(x_r)-C(x_f))$ 。其中C(x)为 $D_\alpha$ 的输出非变换层，鉴别器的对抗损失函数为:

在训练过程中，最小化该损失函数，以增加真实样本比生成器提供的假样本更真实的可能性。同理，生成器的对抗损失函数如下:

最小化该损失以增加生成的样本比对应的真实样本更真实的概率。RSGAN的对抗性损失有助于防止GANs的不稳定性，提高生成图像的质量。

二、方法

HI-GAN由三个生成器组成： $G_\alpha,G_\beta, G_\gamma$ ，以及一个鉴别器： $D_\alpha$ 。

$G_\alpha$ 和 $D_\alpha$ 一起训练。 $G_\beta$ 独立训练，避免鉴别器不稳定性的影响，只关注增加PSNR和SSIM值， $G_\beta$ 可以获得较高的PSNR值，但也会产生过度平滑效应，导致高频细节和低对比度特征的丢失。相比之下， $G_\alpha$ 可以保留更多的纹理和边缘，但由于 $D_\alpha$ 的不稳定性，其PSNR值较低，可能会产生不真实的细节和特征。为此，作者又提出了 $G_\gamma$ ，利用 $G_\beta$ 和 $G_\alpha$ 的去噪图像作为输入，生成一个合成图像。对 $G_\gamma$ 进行训练，生成一个接近于真实干净的合成图像。

2.1、训练 $G_\alpha$ 和 $D_\alpha$

RSGAN的鉴别器和生成器损失函数如下:

其中 $\varphi _1(y)=\varphi _2(y)=-\phi _1(y)=-\phi _2(y)=sigmoid(y).$ P是真实样本的分布，Q是虚假样本的分布，C(x)为 $D_\alpha$ 的输出非变换层。

本文还构建了一个DenseNet网络，该网络由4个密集块组成。给定一个图像对 $(x_{f_\alpha},x_r)$ ，应用于生成器 $G_\alpha$ 的DenseNet损失函数的适当值为:

其中 K=W_u H_u C_u 。

因此，式(13)变成：

2.2、训练 $G_\beta$

损失如下：

其中 $x_{f_\beta}$ 是 $G_\beta$ 生成的去噪图像，等式右边两项和前边叙述的形式一样。

2.3、训练 $G_\gamma$

由 $G_\beta$ 和 $G_\alpha$ 生成的去噪图像被拼接并作为 $G_\gamma$ 的输入，以生成更好的去噪图像。损失如下：

其中 $x_{f_\gamma}$ 是 $G_\gamma$ 生成的去噪图像，等式右边两项参考前边描述的。

三、模型结构

四、实验结果

代码：https://github.com/ZeroZero19/HI-GAN.git

RrS_G

关注

4
点赞
踩
21

收藏

觉得还不错? 一键收藏
0
评论
HI-GAN:一种用于真实照片盲去噪的分层生成对抗网络

目录一、相关工作1.1、真实图像的盲去噪1.2、RSGAN二、方法三、模型结构四、实验结果去噪方法可以分为两种:盲去噪和非盲去噪。一般的去噪方法主要是解决高斯噪声分布已知的非盲去噪问题。然而，现实世界的噪声是高度复杂和不可预测的，因为噪声可以有多个来源，如暗电流噪声和热噪声。最先进的dcnn，如FFDNet[47]和DnCNN[46]可以导致非盲去噪的显著改进，但无法完全消除现实世界的盲噪声。这篇文章专注于解决对真实世界的噪声图像进行盲去噪的问题。首先介绍怎么对上述噪声建模：
复制链接

扫一扫