Pytorch网络参数初始化

最新推荐文章于 2024-07-28 03:54:21 发布

@TangYi

最新推荐文章于 2024-07-28 03:54:21 发布

阅读量1.8k

点赞数 6

分类专栏： python 文章标签： python

@Elaine

本文链接：https://blog.csdn.net/qq_36430012/article/details/113869788

版权

python 专栏收录该内容

18 篇文章 2 订阅

订阅专栏

本文介绍了PyTorch中神经网络参数初始化的重要性，并详细讲解了两种常见方法：一是利用torch.nn.init模块的内置初始化函数，如xavier_uniform；二是通过numpy生成随机数，然后转换为tensor进行自定义初始化，例如设置为均值0、方差0.5的正态分布。这两种方法对于模型的性能和收敛有着直接影响。

摘要由CSDN通过智能技术生成

Pytorch网络参数初始化@Elaine
神经网络的初始化是训练流程的重要基础环节，会对模型的性能、收敛性、收敛速度等产生重要影响。
Pytorch中常见的两种初始化操作
(1)使用pytorch内置的 torch.nn.init 方法
正态分布、均匀分布、xavier初始化、kaiming初始化都已经实现，可以直接使用。具体详见PyTorch 中 torch.nn.init 中文文档。

init.xavier_uniform(net1[0].weight)

(2) Numpy
对于自定义的初始化方法，有时tensor的功能不如numpy强大灵活，故可以借助numpy实现初始化方法，再转换到tensor上使用。

for layer in net1.modules():
    if isinstance(layer, nn.Linear): # 判断是否是线性层
        param_shape = layer.weight.shape
        layer.weight.data = torch.from_numpy(np.random.normal(0, 0.5, size=param_shape)) 
        # 定义为均值为 0，方差为 0.5 的正态分布