重新理解GAN

最新推荐文章于 2024-11-06 20:38:13 发布

神奇的马小白

最新推荐文章于 2024-11-06 20:38:13 发布

阅读量357

点赞数

分类专栏：深度学习文章标签：深度学习神经网络 pytorch

本文链接：https://blog.csdn.net/u011598846/article/details/122886738

版权

深度学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文深入探讨了GAN（生成对抗网络）的基本原理，包括其优化目标和训练过程。在超分辨率问题中，GAN用于生成高分辨率图像，通过最大化判别器与生成器之间的博弈来提升生成质量。训练策略涉及将原始的minmax问题转化为两个单独的最小化问题，分别针对生成器和判别器进行优化。在实际实现中，损失函数的设计是关键，代码示例展示了两种不同的损失函数计算方式。

摘要由CSDN通过智能技术生成

1 理论公式

$min_Gmax_DV(D,G)=E_{x \sim p_{data}(x)}[logD(x)]+E_{z \sim p_z(z)}[log(1-D(G(z)))]$

该公式在超分问题上特化为：
$min_{\theta_G}max_{\theta_D}E_{I^{HR} \sim p_{train}(I^{HR})}[logD_{\theta_D}(I^{HR})]+E_{I^{LR} \sim p_G(I^{LR})}[log(1-D_{\theta_D}(G_{\theta_G}(I^{LR})))]$
其中我将 $D_{\theta_D}(I^{HR})$ 视为 GT 距离假值 $0$ 的距离, 将 $(1-D_{\theta_D}(G_{\theta_G}(I^{LR})))$ 视为 SR 距离真值 $1$ 的距离。判别器是朝着向这两个距离之和更大的方向优化，距离之和越大，即判定的越准确；而生成器的优化目标而与判别器相反。

2 训练方式

GAN 网络是一个 $m i n m a x$ 问题，但是在实际应用过程中会将网络分成内外两层，其中外层是 $min_G$ ，内层是 $max_D$ 。但是深度学习中使用的优化方法是随机梯度下降，为了将模型的训练融入进来，于是将内层的 $max_D$ 问题转换成一个 $min_D$ 问题。具体写作：

$\begin{aligned} min_GV(G)&=min_{\theta_G}E_{I^{HR} \sim p_{train}(I^{HR})}[logD_{\theta_D}(I^{HR})]+E_{I^{LR} \sim p_G(I^{LR})}[log(1-D_{\theta_D}(G_{\theta_G}(I^{LR})))] \\ min_DV(D)&=min_{\theta_G}E_{I^{HR} \sim p_{train}(I^{HR})}[log(1-D_{\theta_D}(I^{HR}))]+E_{I^{LR} \sim p_G(I^{LR})}[logD_{\theta_D}(G_{\theta_G}(I^{LR}))] \end{aligned}$

3 实现方式

对于在神经网络设计中，对于 GAN 机制的实现主要体现在损失函数的设计上。以下代码只是为了表达思想，不能直接运行。

3.1 方式一

fake_out = netD(fake_img).mean()

g_loss = other_loss + (1 - fake_out)

real_out = netD(real_img).mean()
fake_out = netD(fake_img.detach()).mean()
d_loss = 1 - real_out + fake_out

3.2 方式二

adv_loss = nn.BCEWithLogitsLoss()
fake_out = net_d(fake_img)
real = torch.ones_like(fake_out)

g_loss = other_loss + adv_loss(fake_out, real)

fake_out = net_d(fake_img.detach())
real_out = net_d(real_img)

fake = torch.zeros_like(real_out)

fake_loss = adv_loss(fake_out, fake)
real_loss = adv_loss(real_out, real)
d_loss = (fake_loss + real_loss) / 2