Pytorch网络参数初始化方法总结torch.nn.init

最新推荐文章于 2024-02-20 16:21:05 发布
最新推荐文章于 2024-02-20 16:21:05 发布
阅读量2.8k 收藏 39
点赞数 7
分类专栏： Pytorch 文章标签： 深度学习 机器学习 pytorch 神经网络 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CQUSongYuxin/article/details/110928126
版权
本文总结了PyTorch中几种常用的网络参数初始化方法，包括均匀分布、正态分布、Xavier和Kaiming初始化。详细介绍了Xavier均匀和正态分布以及Kaiming均匀和正态分布的实现，特别指出它们在不同激活函数下的适用性。
摘要由CSDN通过智能技术生成

Pytorch网络参数初始化方法总结

参考1：官网
参考2：博客

均匀分布初始化torch.nn.init.uniform_()

torch.nn.init.uniform_(tensor, a=0.0, b=1.0)

使输入的张量服从（a,b）的均匀分布并返回。
参数

  • tensor – n维张量
  • a –均匀分布的上界
  • b –均匀分布的下界

正态分布初始化torch.nn.init.normal_()

torch.nn.init.normal_(tensor, mean=0.0, std=1.0)

从给定的均值和标准差的正态分布N(mean,std2)中生成值，初始化张量。
参数

最低0.47元/天 解锁文章
神仙院B栋4楼保安
关注
专栏目录
torch 默认参数初始化_[DL] PyTorch 折桂 8：torch.nn.init
weixin_39667509的博客
11-25 407
往期汇总：PyTorch 折桂 1：张量的性质PyTorch 折桂 2：张量的运算 1PyTorch 折桂 3：张量的运算 2PyTorch 折桂 4：torch.autographPyTorch 折桂 5：PyTorch 模块总览 & torch.utils.dataPyTorch 折桂 6：torch.nn 总览 & torch.nn.ModulePyTorch 折桂...
Torch 网络层 参数的初始化问题
a1424262219的博客
12-22 201
　　Torch 网络层 参数的初始化问题 　　参考链接：https://github.com/Kaixhin/nninit 　　从 Torch 中自带的包，可以看到：https://github.com/torch/torch7/wiki/Cheatsheet#utility-libraries 　　在 Machine Learning 这一栏当中，有一软件包 n...
PyTorch框架学习十一——网络层权值初始化
qq_40467656的博客
08-18 620
PyTorch框架学习十一——网络层权值初始化一、均匀分布初始化二、正态分布初始化三、常数初始化四、Xavier 均匀分布初始化五、Xavier正态分布六、 前面的笔记介绍了网络模型的搭建，这次将介绍网络层权值的初始化，适当的初始化方法可以使得避免梯度消失或梯度爆炸等问题，还能一定程度上加快网络的训练迭代过程。 下面将介绍PyTorch中十种常用的权值初始化的方法： 一、均匀分布初始化 torch.nn.init.uniform_(tensor: torch.Tensor, a: float = 0.0,
PyTorch----神经网络的建立
bjsyc123456的博客
05-21 288
神经网络就是很多的线性函数和非线性函数组成的复合函数。 自定义类继承torch.nn.Module 自定义类中实现__init__和forward()函数 __init__定义神经网络结构 forward()模型的正向传播 class NeuralNet(torch.nn.Module): """自定义神经网络""" def __init__(self,input_size,hidden_size): # 参数为输入维度 和 隐藏层维度 # 调用父类初始化函数
pytorch 构建神经网络
Maisuluo的博客
10-25 419
我们通过子类化定义我们的神经网络nn.Module，并在__init__中初始化神经网络层。每个nn.Module子类都在forward方法中实现对输入数据的操作。)复制代码我们创建NeuralNetwork的实例，并将其移动到device，并打印其结构。复制代码))复制代码要使用模型，我们将输入数据传递给它。这将执行模型的forward，以及一些后台操作。但不要直接调用！
211014记录：pytorch模型中初始化公式（共13种）总结torch.nn.init
weixin_48635857的博客
10-14 749
torch官方网址： https://pytorch.org/docs/stable/nn.init.html 1、均匀分布U(a,b) torch.nn.init.uniform_(tensor, a=0.0, b=1.0) 2、 torch.nn.init.normal_(tensor, mean=0.0, std=1.0) 3、 torch.nn.init.constant_(tensor, val) 4、 torch.nn.init.ones_(tensor) 5、 torch.nn.init.z
深度学习之pytorch 中 torch.nn介绍
最新发布
qinbaby的专栏
02-20 2089
pytorch 中必用的包就是 torch.nn，torch.nn 中按照功能分，主要如下有几类：1. Layers（层）：包括全连接层、卷积层、池化层等。2. Activation Functions（激活函数）：包括ReLU、Sigmoid、Tanh等。3. Loss Functions（损失函数）：包括交叉熵损失、均方误差等。4. Optimizers（优化器）：包括SGD、Adam、RMSprop等。
pytorch torch.sigmoid、torch.nn.Sigmoid和torch.nn.functional.sigmoid的区别
puspos的博客
07-17 2591
torch.sigmoid：函数 torch.sigmoid(input_tensor,out=None)->Tensor torch.nn.Sigmoid：class 应该看作网络的一层，而不是简单的函数使用。 模型的初始化方法中使用，需要在_init__中定义，然后在使用 class Model(torch.nn.Module): def __init__(self): super(Model, self).__init__() self.linear1
Pytorch中使用torch.nn模块进行神经网络模型初步构造
rothschild666的博客
03-11 1015
torch.nn模块的核心数据结构是Module，可表示神经网络中的某个层（layer）比如全连接层；同时也可表示一个包含很多层（递归的体验）的神经网络比如多层感知机，注意：torch.nn.Module能够顺利用autograd自动实现反向传播，所以无需写和人为使用反向传播函数。
Pytorch 多层感知机
负负得正的博客
04-15 2012
多层感知机 0. 环境介绍 环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的 动手学深度学习 网站和 视频讲解 小技巧：当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。 1.
torch.nn.init.kaiming_normal_
weixin_36670529的博客
08-17 1万+
torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')[source] Fills the input Tensor with values according to the method described in Delving deep into rectifiers: Surp...
Pytorch----torch.nn.init
weiwei935707936的博客
11-06 272
均匀分布： torch.nn.init.uniform_(tensor, a=0, b=1) 正太分布： torch.nn.init.normal_(tensor, mean=0, std=1) 常数： torch.nn.init.constant_(tensor, val) Xavier： 通过网络层时，输入和输出的方差相同，包括向前传播和反向传播 如果初始化值很小，那么随着层数的传递，方差就会趋于0，此时输入值 也变得越来越小，在sigmoid上就是在0附近，接近于线性，.
Pytorch学习笔记--常用函数nn.init.normal()、nn.init.constant_()、torch.from_numpy()、torch.index_select()总结4
牵一只蜗牛去散步
12-02 2916
torch.from_numpy(numpy_array)基于输入numpy数组（numpy_array）返回一个tensor张量（数据不变，类型转换），作用是转换numpy_array -> tensor。torch.nn.init.constant_(tensor, val)基于输入参数（val）初始化输入张量tensor，即tensor的值均初始化为val。torch.nn.init.normal(tensor, mean, std)基于输入参数（均值mean和标准差std）输入张量tensor；
【torch杂记】torch.nn.init.kaiming_normal_
椰子奶糖的博客
07-03 1万+
torch.nn.init.kaiming_normal_ 文章目录torch.nn.init.kaiming_normal_参考源码 参考 torch.nn.init.kaiming_normal_ python中的numel()函数 源码 这个函数就是实现这个公式 std=gainfan_mode \text{std} = \frac{\text{gain}}{\sqrt{\text{fan\_mode}}} std=fan_mode​gain​ def kaiming_normal_(
Pytorch神经网络初始化kaiming分布
热门推荐
winycg的博客
01-25 2万+
函数的增益值 torch.nn.init.calculate_gain(nonlinearity, param=None) 提供了对非线性函数增益值的计算。 增益值gain是一个比例值，来调控输入数量级和输出数量级之间的关系。 fan_in和fan_out pytorch计算fan_in和fan_out的源码 def _calculate_fan_in_and_fan_out(tensor): ...
pytorch 获取模型参数_[PyTorch]PyTorch中模型的参数初始化的几种方法（转）
weixin_39717121的博客
12-21 191
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~转载请注明出处：参考网址：说明：暂时就这么多吧，错误之处请见谅。前两个初始化的方法见pytorch官方文档1. xavier初始化torch.nn.init.xavier_uniform(tensor, gain=1)对于输入的tensor或者变量，通过论文Understanding the difficulty of t...
pytorch默认初始化_对Pytorch神经网络初始化kaiming分布详解
weixin_39996141的博客
12-22 953
函数的增益值torch.nn.init.calculate_gain(nonlinearity, param=None)提供了对非线性函数增益值的计算。增益值gain是一个比例值，来调控输入数量级和输出数量级之间的关系。fan_in和fan_outpytorch计算fan_in和fan_out的源码def _calculate_fan_in_and_fan_out(tensor):dimensio...
Pytorch nn.init 参数初始化方法(转)
weixin_44682222的博客
09-11 987
Gain is a proportional value that shows the relationship between the magnitude of...
torch.nn.init.normal_
09-13
torch.nn.init.normal_函数是PyTorch中的一个初始化函数，用于对张量进行正态分布初始化。使用该函数可以将张量的元素以正态分布的方式进行初始化。具体使用方法如下： ```python import torch from torch import ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值