nn.BatchNorm2d nn.MaxPool2d中参数 Group Norm

nn.Conv2d(3,64,7,stride=2,padding=3),
nn.BatchNorm2d(64),
# 这个64为卷积后输出的通道数(channel),所以,里面的参数为前面卷积的输出通道数
# referen pytorch nn.BatchNorm2d() 参数解释_Tchunren的博客-CSDN博客_batchnorm2d参数
nn.LeakyReLU(0.1,inplace=True),
nn.MaxPool2d(2), #这里面没有写stride,在官网中,如果stride不写,其stride就等于kernel_size,这是我问的一个日本友人

https://github.com/motokimura/yolo_v1_pytorch/issues/7

BN加速训练收敛:个人理解是把前一个卷积结果输出进行Batch Norm(把结果拉到正态分布),进行BN后的结果不会分布不均匀,不会让训练的损失函数处于过大的振荡,这样就会较快收敛。

GN与BN的差别,个人感觉在batch size用的较小时GN比BN好,batch size大的时候,两者差不多。

nn.BatchNorm2d() 

首先这个方法就是进行归一化,默认第一个参数就是传入的数据的通道数,老是记不住,这样理解就好了,因为是归一化,那肯定要对每一个channel都要进行归一化,那传入的第一个参数就是通道数。至于后面有些传入小数,可以参考下面链接。

https://blog.csdn.net/t20134297/article/details/104960101
 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值