为GAN分别设置Dropout层与BN层的模式(pytorch)

为GAN分别设置Dropout层与BN层的模式(pytorch)

应用场景是基于GAN进行图像生成时,Dropout层本身就可以被视为一种噪声输入用于增加生成图像的多样化,而BN层在只有单张图片seed输入时会报错。
因此,在完成训练后,实际使用场合中,需要将Dropout层设置为train模式,而BN层设置为eval模式,因此需要对模型整体调整后,再对部分层单独调整。

代码写法参考来源:BN的train,eval模式踩坑记录

实际写法(或者整体设置为测试模型再将Dropout层设置为训练模式):

# 需要设置为训练模式,以通过dropout产生更多的GAN多样性
# 但是BN层必须被设置为测试模式,以保证输出性能
for G_model in G_models:
    G_model.train()
    for _, module in G_model.named_modules():
        # 将所有BN层设置为测试模式
        if isinstance(module, nn.BatchNorm1d) or isinstance(module, nn.BatchNorm2d):
            module.training = False
return G_models
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值