GAN系列训练出现的生成器loss一直上升,无法收敛的问题

这个问题其实还有很多博主已经给出了解决问题,但我根据他们提出的解决方案仍然无法解决我DCGAN训练无法收敛的问题。

问题阐述

最近去做了DCGAN的项目,已经找好了数据集,代码也写完了。但是模型反复训练了有十几次,期间也断断续续的debug检查细节,修改代码。可是无论怎么改参数、改模型,甚至训练1000epoch,训练结果也还是呈现出生成器G损失不断上升,判别器损失趋于0的情况,出现不了所谓的纳什均衡。检查了生成器生成的图片,结果发现每一次迭代生成的都是随机噪声

出现的问题的生成器G损失和判别器D损失曲线如下:

 解决

错误1(训练策略的错误)

通过千辛万苦的检查,终于找出了错误。原来是训练生成器的时候。应该反向传播更新生成器的梯度,但是我手动切断了生成器的梯度,后果就是训练过程中梯度永远无法流经生成器模型,于是生成器学习停止。

这个问题出现在非常隐蔽的位置,问题出现在更新生成器的时候,仅仅是因为我在每一个batch批次使用判别器预测生成器的图片时给输入使用了.detach()。错误代码在如下:

g_pred = d_model(fake_img.detach())

这行代码是在更新完判别器之后,更新生成器时,需要使用更新之后的判别器预测生成器生成的假图片,来让生成器学习提升自己。我错误的给G生成的图片fake_img使用了detach()函数,梯度根据g_pred反向传播的时候就从fake_img断开,不再流入生成器模型,生成器停滞学习。

正确代码为:

g_pred = d_model(fake_img)  # 注意这里的fake_img不能detach,因为需要生成器的梯度

 错误2(数据预处理)

DCGAN作者提出的生成器模型结构的最后一层激活函数是Tanh(),根据Tanh()函数图像知,其输入结果为-1~1之间,因此对原数据集处理的时候就一定不要只进行归一化就完了,还需要进行标准化。

归一化的结果在0~1之间,而标准化的结果为标准正态分布,绝大多数都在-1~1之间。

数据预处理对于机器学习、深度学习,都是一个非常重要的步骤,永远不要粗心忽视了数据预处理。

问题讨论

有许多的其他博主针对此类问题,提出是判别器太强,判别器学习率太高的问题。但是对于本文中出现的此类严重问题不适用。本文中出现的问题,将导致生成器生成的图片永远都是随机噪声,无论怎么修改模型和学习率都不会收敛。

如果你训练GAN、DCGAN的时候,随着训练代数的增加,生成器的生成图片可以生成达到一定预期的图片,但是效果不行,那就是上面下划线的问题。

经过实验,生成器和判别器模型的参数量相近,本实验为1200w+个参数,不会出现判别器太强。

样例代码

这是我训练时候的代码,仅供参考

说明:g_model是生成器,d_model是判别器,optimizerD只对判别器参数进行优化,optimizerG只对生成器参数进行优化,real是全1的一维列表,fake是全0的一维列表

    for epoch in range(epoch, max_epoch+1):
        for i, real_img in enumerate(dloader):
            z = torch.normal(0, 1, size=(batch_size, nz, 1, 1), device=device)
            real_img = real_img.to(device)
            fake_img = g_model(z)
            real_pred = d_model(real_img)
            fake_pred = d_model(fake_img.detach())

            d_model.zero_grad()
            d_loss = criterion(real_pred, torch.ones_like(real_pred, device=device))
            d_loss.backward()
            d_loss = criterion(fake_pred, fake)
            d_loss.backward()
            optimizerD.step()

            g_model.zero_grad()
            g_pred = d_model(fake_img)        # 注意这里的fake_img不能detach,因为需要生成器的梯度
            g_loss = criterion(g_pred, real)
            g_loss.backward()
            optimizerG.step()

结果

修改之后训练终于正常,生成器损失时而上升时而下降,而判别器损失上升下降与之相反。生成器生成的图片不再是随机噪声。这是1000epoch训练过程的损失曲线图。

我使用的数据集是找的github一个博主的GAN项目的cat数据集,这是我训练1000epoch之后生成器生成的图片。

评论 18
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值