pytorch对网络参数进行自定义初始化

最新推荐文章于 2024-01-09 10:25:31 发布
最新推荐文章于 2024-01-09 10:25:31 发布
阅读量2.2k 收藏 13
点赞数 1
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37891889/article/details/105450462
版权

在使用pytorch构建网络时，如果不自定义进行参数初始化，那么将使用默认的初始化方法，具体查看 pytorch默认参数初始化以及自定义参数初始化
Pytorch提供了几种不同类型的初始化方法 https://pytorch.org/docs/stable/nn.init.html ，如果想使用自定义的初始化方式，则有两种方法：

  • 在定义模型的类的里面定义初始化函数，然后在类的__init__()函数中进行参数初始化
  • 在在定义模型的类的外部定义初始化函数，然后将类实例化之后再进行参数的初始化
    下面将具体介绍两种方法。
    1、在定义模型的类的里面定义初始化函数
    1.1、如果想对模型里面的不同module，比如线性层，卷积层等采用不同的初始化方法，那么可以使用 self.modules()获取模型中的module，然后使用 isinstance函数判断module的类型，代码如下：
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(1)

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.linear1 = nn.Linear(3, 3)
        self.linear2 = nn.Linear(3, 3)
        
        self._init_parameters()
        
    def forward(self, x):
        output = self.linear1(x)
        output = self.linear1(output)
        
    def _init_parameters(self):
        for m in self.modules():
            if isinstance(m, nn.Linear):
                nn.init.xavier_uniform_(m.weight.data)
                nn.init.constant_(m.bias.data, 0)

net = MyModel()
for name, p in net.named_parameters():
    print(name)
    print(p)

output:

linear1.weight
Parameter containing:
tensor([[-0.3204, 0.0479, 0.5961],
[ 0.5435, -0.9776, 0.6199],
[ 0.2794, 0.9486, 0.6601]], requires_grad=True)
linear1.bias
Parameter containing:
tensor([0., 0., 0.], requires_grad=True)
linear2.weight
Parameter containing:
tensor([[-0.9111, -0.9508, -0.4823],
[ 0.8781, -0.1666, 0.4280],
[-0.4647, 0.9812, -0.4231]], requires_grad=True)
linear2.bias
Parameter containing:
tensor([0., 0., 0.], requires_grad=True)

1.2、如果想对所有类型的module都使用相同的初始化方法，可以采用self.parameters()获取参数，代码如下：

import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(1)

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.linear1 = nn.Linear(3, 3)
        self.linear2 = nn.Linear(3, 3)
        
        self._init_parameters()
        
    def forward(self, x):
        output = self.linear1(x)
        output = self.linear1(output)
        
    def _init_parameters(self):
        for p in self.parameters():
            # 对weights进行初始化
            if p.dim() > 1:
                nn.init.xavier_uniform_(p)
            # 对bias进行初始化
            else:
                nn.init.constant_(p, 0)

net = MyModel()
for name, p in net.named_parameters():
    print(name)
    print(p)

outputs:

linear1.weight
Parameter containing:
tensor([[-0.3204, 0.0479, 0.5961],
[ 0.5435, -0.9776, 0.6199],
[ 0.2794, 0.9486, 0.6601]], requires_grad=True)
linear1.bias
Parameter containing:
tensor([0., 0., 0.], requires_grad=True)
linear2.weight
Parameter containing:
tensor([[-0.9111, -0.9508, -0.4823],
[ 0.8781, -0.1666, 0.4280],
[-0.4647, 0.9812, -0.4231]], requires_grad=True)
linear2.bias
Parameter containing:
tensor([0., 0., 0.], requires_grad=True)

2、在在定义模型的类的外部定义初始化函数
2.1、同样的，如果想对模型里面的不同module，比如线性层，卷积层等采用不同的初始化方法，那么可以使用 net.modules()获取模型中的module，然后使用 isinstance函数判断module的类型，代码如下：

import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(1)

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.linear1 = nn.Linear(3, 3)
        self.linear2 = nn.Linear(3, 3)
        
    def forward(self, x):
        output = self.linear1(x)
        output = self.linear1(output)

def init_parameters(net):
    for m in net.modules():
        if isinstance(m, nn.Linear):
            nn.init.xavier_uniform_(m.weight.data)
            nn.init.constant_(m.bias.data, 0)

net = MyModel()
for name, p in net.named_parameters():
    print(name)
    print(p)

init_parameters(net)
print("\n在执行自定义的初始化后：")
for name, p in net.named_parameters():
    print(name)
    print(p)

outputs:

linear1.weight
Parameter containing:
tensor([[ 0.2975, -0.2548, -0.1119],
[ 0.2710, -0.5435, 0.3462],
[-0.1188, 0.2937, 0.0803]], requires_grad=True)
linear1.bias
Parameter containing:
tensor([-0.0707, 0.1601, 0.0285], requires_grad=True)
linear2.weight
Parameter containing:
tensor([[ 0.2109, -0.2250, -0.0421],
[-0.0520, 0.0837, -0.0023],
[ 0.5047, 0.1797, -0.2150]], requires_grad=True)
linear2.bias
Parameter containing:
tensor([-0.3487, -0.0968, -0.2490], requires_grad=True)
在执行自定义的初始化后：
linear1.weight
Parameter containing:
tensor([[-0.3204, 0.0479, 0.5961],
[ 0.5435, -0.9776, 0.6199],
[ 0.2794, 0.9486, 0.6601]], requires_grad=True)
linear1.bias
Parameter containing:
tensor([0., 0., 0.], requires_grad=True)
linear2.weight
Parameter containing:
tensor([[-0.9111, -0.9508, -0.4823],
[ 0.8781, -0.1666, 0.4280],
[-0.4647, 0.9812, -0.4231]], requires_grad=True)
linear2.bias
Parameter containing:
tensor([0., 0., 0.], requires_grad=True)

2.2、如果想对所有类型的module都使用相同的初始化方法，可以采用net.parameters()获取参数，代码如下：

import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(1)

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.linear1 = nn.Linear(3, 3)
        self.linear2 = nn.Linear(3, 3)
        
    def forward(self, x):
        output = self.linear1(x)
        output = self.linear1(output)

def init_parameters(net):
    for p in net.parameters():
        if p.dim() > 1:
            nn.init.xavier_uniform_(p)
        else:
            nn.init.constant_(p, 0)

net = MyModel()
for name, p in net.named_parameters():
    print(name)
    print(p)

init_parameters(net)
print("\n在执行自定义的初始化后：")
for name, p in net.named_parameters():
    print(name)
    print(p)

outputs:

linear1.weight
Parameter containing:
tensor([[ 0.2975, -0.2548, -0.1119],
[ 0.2710, -0.5435, 0.3462],
[-0.1188, 0.2937, 0.0803]], requires_grad=True)
linear1.bias
Parameter containing:
tensor([-0.0707, 0.1601, 0.0285], requires_grad=True)
linear2.weight
Parameter containing:
tensor([[ 0.2109, -0.2250, -0.0421],
[-0.0520, 0.0837, -0.0023],
[ 0.5047, 0.1797, -0.2150]], requires_grad=True)
linear2.bias
Parameter containing:
tensor([-0.3487, -0.0968, -0.2490], requires_grad=True)
在执行自定义的初始化后：
linear1.weight
Parameter containing:
tensor([[ 0.2975, -0.2548, -0.1119],
[ 0.2710, -0.5435, 0.3462],
[-0.1188, 0.2937, 0.0803]], requires_grad=True)
linear1.bias
Parameter containing:
tensor([-0.0707, 0.1601, 0.0285], requires_grad=True)
linear2.weight
Parameter containing:
tensor([[ 0.2109, -0.2250, -0.0421],
[-0.0520, 0.0837, -0.0023],
[ 0.5047, 0.1797, -0.2150]], requires_grad=True)
linear2.bias
Parameter containing:
tensor([-0.3487, -0.0968, -0.2490], requires_grad=True)

Life will be better
关注
专栏目录
PyTorch深度学习实战（13）—— 神经网络初始化策略和优化器
shangjg3的博客
08-15 311
然而，新建优化器会重新初始化动量等状态信息，这对于使用动量的优化器（如Adam），可能会造成损失函数在收敛过程中出现震荡等情况。在深度学习中参数的初始化十分重要，良好的初始化能让模型更快地收敛，并达到更高水平，糟糕的初始化可能使模型迅速崩溃。中的模块参数都采取了较为合理的初始化策略，用户一般无需再进行设计。读者也可以用自定义的初始化策略来代替系统的默认初始化。返回的是内存中的随机数，很可能会有极大值，这在实际训练网络时会造成溢出或者梯度消失。中，它的设计非常灵活，能够方便地扩展为自定义的优化方法。
初始化模型参数 python_Pytorch： 神经网络模型参数初始化与 Finetune
weixin_39601088的博客
12-12 1289
1参数初始化参数的初始化其实就是对参数赋值。而待学习的参数其实都是 Variable，它其实是对 Tensor 的封装，同时提供了data，grad 等接口，这就意味着可以直接对这些参数进行操作赋值。这就是 PyTorch 简洁高效所在。在pytorch中，有自己默认初始化参数方式，所以在你定义好网络结构以后，不进行参数初始化也是可以的。PyTorch在自定义变量及其初始化方法：self.fus...
python pytorch自定义_Pytorch 实现自定义参数层的例子
weixin_39571404的博客
12-21 378
注意，一般官方接口都带有可导功能，如果你实现的层不具有可导功能，就需要自己实现梯度的反向传递。官方Linear层：class Linear(Module):def __init__(self, in_features, out_features, bias=True):super(Linear, self).__init__()self.in_features = in_featuresself....
pytorch自定义初始化函数
qq_43477218的博客
03-31 1136
文章目录Pytorch自定义初始化对单层网路进行初始化对模型（多层）进行初始化（递归）防止递归过深进行初始化手动对模型的每个层进行初始化（层数不多的时候） Pytorch自定义初始化 在pytorch中，定义一个层（继承自Module），它在实例化的时候会自动初始化。但是有的场景是已知参数值的一个大概范围，那我们就可以将参数值初始化为我们想要的值，使得收敛更加快速！ pytorch中提供了多种初始化函数： torch.nn.init.constant(tensor, val) torch.nn.init
【pytorch基础】模型的自定义参数初始化方式
All_In_gzx_cc的博客
05-14 2831
总结 单层网络初始化 直接调用torch.nn.innit里的初始化函数 多层网络初始化 2.1 使用apply和weight_init函数 2.2 在__init__函数使用self.modules()初始化 详细阐述 1. 单层网络 在创建model后直接调用torch.nn.innit里的初始化函数 layer1 = torch.nn.Linear(10,20) torch.nn.init.xavier_uniform_(layer1.weight) torch.nn.init.constan
Pytorch参数初始化：自定义和系统初始化
weixin_39649312的博客
07-24 192
https://www.cnblogs.com/Lee-yl/p/10146047.html
pytorch自定义初始化权重
Hali_Botebie的博客
06-09 599
在常见的pytorch代码中，我们见到的初始化方式都是调用init类对每层所有参数进行初始化。但是，有时我们有些特殊需求，比如用某一层的权重取优化其它层，或者手动指定某些权重的初始值。 核心思想就是构造和该层权重同一尺寸的矩阵去对该层权重赋值。但是，值得注意的是，pytorch中各层权重的数据类型是nn.Parameter，而不是Tensor或者Variable。 import torch import torch.nn as nn import torch.optim as optim import nu
pytorch自定义初始化权重的方法
12-31
在常见的pytorch代码中，我们见到的初始化方式都是调用init类对每层所有参数进行初始化。但是，有时我们有些特殊需求，比如用某一层的权重取优化其它层，或者手动指定某些权重的初始值。 核心思想就是构造和该层权重...
python PyTorch参数初始化和Finetune
09-20
总的来说，PyTorch通过灵活的参数初始化和Finetune策略，为用户提供了丰富的自定义能力，帮助实现更高效、更具针对性的模型训练。在实践中，应根据任务需求和模型结构选择合适的方法，以达到最优的模型性能。
深度学习Pytorch入门：神经网络模型的参数初始化操作
PingBryant的博客
11-30 2988
本文重点 其实如果我们使用 pytorch 封装好的网络层的时候,我们并不需要对模型的参数初始化,因为这些都是 pytorch 帮助我们完成的,但是如果我们自己搭建模型(不使用 pytorch 中的封装好的网络层)或者对 pytorch 中封装好的模型初始化参数不满意,那么此时我们对模型进行参数初始化。 用 pytorch 已经封装好的层来搭建网络模型 import torch import numpy as np from torch import nn class Simple_net(nn.Modu
pytorch中网络参数初始化
xddwz的博客
06-17 717
可以先定义两个函数： import torch.nn.init as init def xavier(param): init.xavier_uniform(param) # init.kaiming_uniform_() # 可以选择其他的 def weights_init(m): if isinstance(m, nn.Conv2d): xavier(m.weight.data) m.bias.data.zero_() 初始化的时
Pytorch 实现自定义参数层的例子
09-18
今天小编就为大家发信息一篇Pytorch 实现自定义参数层的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch自定义参数
热门推荐
Peter的脱发日记
05-22 1万+
Pytorch自定义参数 如果想要灵活地使用模型，可能需要自定义参数，比如 class Net(nn.Module): def __init__(self): super(Net,self).__init__() self.A = torch.randn((2,3),requires_grad=True) self.B = nn.Linear...
Pytorch—模型参数与自定义网络层
hei653779919的博客
06-16 4176
Pytorch—模型参数定义与访问
pytorch模型变量初始化
JY丫丫
01-03 1363
1、简介 神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。一般我们希望数据和参数的均值都为 0，输入和输出数据的方差一致。在实际应用中，参数服从高斯分布或者均匀分布都是比较有效的初始化方式。 深度学习模型参数初始化的方法 （1）Gaussian 满足mean=0，std=1的高斯分布x∼N(mean，std2)...
pytorch中自定义参数基于auto_grad的随机下降法梯度更新的几种方式
qq_58153224的博客
11-02 575
这种是直接用梯度更新后的值新建一个节点，再将新建节点的requires_grad设为True，这样做的好处是不用再梯度清零了。问题出在参数更新部分，也就是说X也需要.data才能正常赋值，改成这样就可以了。如果你曾经见过这种报错，那么恭喜你，你和我踩了一样的坑。上面是最常见的更新方式。
pytorch自定义参数初始化
qq_43552048的博客
04-03 197
2.打印 注：model.apply(fn)方法会递归地将fn应用于model的子module比如Conv，Linear层最后再应用于整个model
PyTorch 参数化深度解析：自定义、管理和优化模型参数
最新发布
CDBmax的博客
01-09 1726
本篇博客探讨了 PyTorch 中子模块的强大功能和灵活性。它详细介绍了如何通过自定义参数化（）来改变和控制模型参数的行为，提供了移除参数化（）的方法以恢复模型到原始状态，并探讨了如何利用缓存机制（cached）来提高参数化参数在前向传播中的计算效率。此外，文章还解释了如何检查模型或其属性的参数化状态（），并深入了解了类在内部如何管理参数化参数。
pytorch 初始化网络参数
qq_30636613的博客
03-02 473
1. 定义一个网络 class MyLinear(nn.Module): def __init__(self,in_dim,out_dim): super().__init__() self.lin = nn.Linear(in_dim, out_dim) self.conv = nn.Conv2d(5,3,2) def forward(self, x): return self.lin(x) 2.生成一些数据 d
pytorch 自定义初始化
05-10
PyTorch 自定义初始化可以使得我们初始化参数时更加灵活和个性化。在使用 PyTorch 进行深度学习任务时，初始值设置是非常重要的。参数初始值一定程度上影响了算法的收敛速度和精度。因此，自定义初始化是非常有必要的。 PyTorch的torch.nn.init模块提供了一些常用的初始化方式，包括常见的随机初始化（uniform，normal等），常数初始化（zeros，ones等），以及一些比较有名的网络模型特定的初始化方式，如Xavier初始化，Kaiming初始化等。但有时候我们需要自定义的初始化方法，此时就需要自定义初始化。 我们可以使用register_parameter方法为模型中的每一个参数自定义初始化方法，如下所示： ``` class CustomModel(nn.Module): def __init__(self): super(CustomModel, self).__init__() self.weight = nn.Parameter(torch.Tensor(1, 100)) self.register_parameter('bias', None) self.reset_parameters() def reset_parameters(self): stdv = 1. / math.sqrt(self.weight.size(1)) self.weight.data.uniform_(-stdv, stdv) model = CustomModel() ``` 在以上的代码中，我们可以看到，在模型内部通过register_parameter方法给bias参数设置值为None，表明bias参数不需要在初始化时使用模型默认的初始化方式。然后在通过重载reset_parameters方法，我们自己进行参数初始化。 通过这种自定义初始化方式，我们可以方便地对网络模型中的参数进行初始化，从而达到优化模型的目的，提高算法的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值