pytorch网络集中权重初始化的方法

最新推荐文章于 2022-12-17 15:36:00 发布

听我的错不了

最新推荐文章于 2022-12-17 15:36:00 发布

阅读量1.3k

点赞数 1

分类专栏：学习日常代码理解

本文链接：https://blog.csdn.net/weixin_45032769/article/details/106454961

版权

权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。在pytorch的使用过程中有几种权重初始化的方法供大家参考。注意：第一种方法不推荐。尽量使用后两种方法。def weights_init(m): classname = m.__class__.__name__ if classname.find('Conv') != -1: m.weight.data.normal_(0.0, 0.02) elif classname.fi

摘要由CSDN通过智能技术生成

权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。

在pytorch的使用过程中有几种权重初始化的方法供大家参考。
注意：第一种方法不推荐。尽量使用后两种方法。

def weights_init(m):
    classname = m.__class__.__name__
    if classname.find('Conv') != -1:
        m.weight.data.normal_(0.0, 0.02)
    elif classname.find('BatchNorm') != -1:
        m.weight.data.normal_

最低0.47元/天解锁文章

听我的错不了

关注

1
点赞
踩
14

收藏

觉得还不错? 一键收藏
0
评论
pytorch网络集中权重初始化的方法

权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。在pytorch的使用过程中有几种权重初始化的方法供大家参考。注意：第一种方法不推荐。尽量使用后两种方法。def weights_init(m): classname = m.__class__.__name__ if classname.find('Conv') != -1: m.weight.data.normal_(0.0, 0.02) elif classname.fi
复制链接

扫一扫