torch.nn.init细节

最新推荐文章于 2024-04-08 14:57:02 发布
最新推荐文章于 2024-04-08 14:57:02 发布
阅读量357 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39718268/article/details/105213665
版权
本文详细介绍了PyTorch中torch.nn.init模块的初始化细节，特别是xavier_uniform和kaiming_uniform的区别和使用场景。默认情况下，torch对卷积层的初始化考虑的是Leaky-ReLU而非ReLU，这导致了实际初始化与预期的不同。文中还探讨了如何针对ReLU进行正确的初始化设置。
摘要由CSDN通过智能技术生成

torch.nn.init细节

毕业论文进度0/50。大晚上挂着下骑砍2想顺便写论文的，内心太抗拒没办法，在这把以前看到的一些torch里的细节记录一下吧。

Abstract

torch默认的卷积初始化针对的激活函是 s l o p e = 5 slope=\sqrt{5} slope=5 ​的leaky-relu，而不是relu。

常见init的种类

平时能用到的卷积的初始化一般涉及到两个名字：xavier,kaiming.两者都是基于对数据张量的variance的传播推导得出的，不同点在于kaiming的推导里考虑到了激活函数的作用。
以ReLU为例， R e L U ( x ) ReLU(x) ReLU(x)会将 x x x的负元素置0。假设x为正态分布或者均匀分布等具有对称性的分布时，ReLU正好将一半的元素置零，再经过卷积 ξ \xi ξ的传播，我们有 v a r ( ξ ( R e L U ( x ) ) ) = 1 2 v a r ( ξ ( x ) ) var(\xi(ReLU(x)))=\frac{1}{2}var(\xi(x)) var(ξ(ReLU(x)))=21​var(ξ(x)).右边是xavier初始化考虑的情形。所以kaiming初始化需要在xavier初始化的基础上scale一个2.
具体的细节推导网上有很多，这里不多描述。

xavier_uniform

和torch里的代码略有不同，至少我本人从原文里看到的实现应该是：
a = 6 f i n + f o u t a=\sqrt{\frac{6}{f_{in}+f_{out}}} a=fin​+fout​6​

最低0.47元/天 解锁文章
再戳天花板我可生气了
关注
专栏目录
Pythorch中torch.nn.LSTM()参数详解
01-06
通过源代码中可以看到nn.LSTM继承自nn.RNNBase,其初始化函数定义如下 class RNNBase(Module): ... def __init__(self, mode, input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0....
pytorch初始化
dashan8608的博客
12-12 1764
转载自 https://blog.csdn.net/dss_dssssd/article/details/83959474 本文内容： 1. Xavier 初始化 2. nn.init 中各种初始化函数 3. He 初始化 torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init 1. 均匀分布 torch.nn.ini...
torch 中 nn.init.xavier_uniform_ 方法
Python领域优质萌新创作者
06-18 5764
具体而言，Xavier 初始化通过从均匀分布中抽取权重值，使得权重的方差等于输入和输出维度之和的倒数。初始化是一种常用的权重初始化方法，旨在解决深度神经网络训练过程中的梯度消失和梯度爆炸问题。该方法通过根据网络的输入和输出维度来初始化权重，使得前向传播和反向传播过程中的信号保持相对一致的方差。它会对传入的张量进行原位修改，将张量中的数值初始化为均匀分布中的随机值，范围为。中的一个参数初始化方法，用于初始化神经网络的权重。对于偏置项的初始化，可以使用其他适当的方法，例如常数初始化或零初始化。
xavier_uniform_、均匀分布、高斯分布初始化嵌入权重
最新发布
努力学习的DS
04-08 623
(也叫Glorot uniform initialization) 我觉得是特殊的uniform。
深入浅出Pytorch函数——torch.nn.init.kaiming_uniform_
冯·诺依曼
08-19 1644
torch.nn.init.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')
pytorch中卷积操作的初始化方法(kaiming_uniform_详解)
爱在深秋
05-26 1万+
摘要： 最近写了一篇文章，reviewers给了几个意见，其中之一就是：不同配置下的网络初始化条件是否相同，是怎样初始化的？ 之前竟然没有关注过这个问题，应该是torch默认情况下会初始化卷积核参数，这里详细讲解一下torch卷积操作的初始化过程。 1. pytorch中的卷积运算分类 在pycharm的IDE中，按住ctrl+鼠标点击torch.nn.Conv2d可以进入torch的内部卷积运算的源码(conv.py) 搭建网络经常使用到的模块如下图所示： class _ConvNd(.
利用torch.nn实现二维卷积python代码
12-11
本教程将详细讲解如何利用Python的PyTorch库中的torch.nn模块来实现一个简单的二维卷积神经网络。PyTorch是一个强大的深度学习框架，它提供了丰富的API用于构建和训练神经网络。 首先，让我们从基本概念开始。二维...
对Pytorch中nn.ModuleList 和 nn.Sequential详解
09-18
在这个例子中，`DynamicNet`的`__init__`方法接受一个层的数量和每层的大小，然后创建相应的线性层并存储在`nn.ModuleList`中。在`forward`方法中，我们遍历`self.layers`并依次应用每个层。 总结来说，`nn....
浅谈Pytorch torch.optim优化器个性化的使用
09-17
from torch import nn class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, 6, 5), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(6, 16...
pytorch 中的重要模块化接口nn.Module的使用
12-20
在PyTorch中，`torch.nn` 是一个关键的库，专门用于构建和操作神经网络。这个库构建在`autograd`之上，使得定义、训练和优化神经网络变得简单而直观。`nn.Module` 是`nn`库中的核心类，它是所有神经网络模块的基类。...
Pytorch学习笔记——kaiming_uniform初始化
码农1479的博客
04-02 8469
Pytorch初始化方法之kaiming均匀初始化学习笔记。
pytorch 笔记：torch.nn.init
qq_40206371的博客
01-20 1170
这个在后面的一些nn.init初始化中会用到。
torch.nn.init.kaiming_uniform_
bettle_king的博客
02-29 341
官网:https://pytorch.org/docs/stable/nn.init.html#torch.nn.init.kaiming_uniform_对张量 w 进行 Kaiming 均匀初始化，使得其适合用于具有 ReLU 激活函数的神经网络。
神经网络权重初始化代码 init.kaiming_uniform_和kaiming_normal_
qq_41917697的博客
04-23 2万+
神经网络权重初始化--容易忽视的细节为什么要初始化初始化方法 为什么要初始化 权重初始化的目的是防止在深度神经网络的正向（前向）传播过程中层激活函数的输出损失梯度出现爆炸或消失。如果发生任何一种情况，损失梯度太大或太小，就无法有效地向后传播，并且即便可以向后传播，网络也需要花更长时间来达到收敛。 初始化方法 建议可以看看这个：《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classificatio
【Pytorch】torch.nn.init.xavier_uniform_()
海到无边天作岸 山登绝顶我为峰
09-02 8415
Hello！ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！唯有努力💪本文仅记录自己感兴趣的内容文章仅作为个人学习笔记记录，记录从0到1的一个过程希望对您有一点点帮助，如有错误欢迎小伙伴指正。
pytorch系列：torch.nn.init.xavier_uniform_
cgfth
12-10 1万+
torch.nn.init.xavier_uniform_是一个服从均匀分布的Glorot初始化器，表达式为： U=(−a,a) \mathcal{U} = (-a, a) U=(−a,a) 其中， a=gain×6fan_in+fan_out a = \text{gain} \times \sqrt{\frac{6}{\text{fan\_in} + \text{fan\_out}}} a=...
深度学习参数初始化（一）Xavier初始化 含代码
热门推荐
xian0710830114的专栏
06-30 3万+
Xavier初始化也称为Glorot初始化，因为发明人为Xavier Glorot。Xavier initialization是 Glorot 等人为了解决随机初始化的问题提出来的另一种初始化方法，他们的思想就是尽可能的让输入和输出服从相同的分布，这样就能够避免后面层的激活函数的输出值趋向于0。........................
「细聊」torch.nn.init 初始化
绿色羽毛
08-11 9291
init.uniform从均匀分布 \mathcal{U}(a, b)中生成值，填充输入的张量或变量 Parameters:tensor - n维的torch.Tensor a - 均匀分布的下界 b - 均匀分布的上界 nn.init.normal 从给定均值和标准差的**正态分布** $\mathcal{N}(mean, std)$中生成值，填充输入的张量或变量 Parameters: tensor – n维的torch.Tensor mean – 正态分布的均值 std nn.init.constan
卷积神经网络中的参数初始化
zhong_haoxuan的博客
07-20 5971
卷积层中常用初始化方法分两种： 1.高斯初始化： 从均值为0，方差为1的高斯分布中采样，作为初始权值；PyTorch中的相关函数如下： torch.nn.init.normal_(tensor, mean=0, std=1) 2.Xavier初始化： 参数由0均值，标准差为sqrt(2 / (fan_in + fan_out))的正态分布产生，其中fan_in和fan_out是分别权值张量的输入...
torch.nn.init
05-26
torch.nn.init是PyTorch中的一个模块，用于初始化神经网络中的权重。它包含了一些常见的权重初始化方法，如Xavier初始化、Kaiming初始化等。这些方法可以帮助我们更好地训练神经网络。 在使用torch.nn.init时，我们需要先创建一个模型，然后对模型的权重进行初始化。例如，下面的代码演示了如何使用Xavier初始化来初始化一个全连接层的权重和偏置： ``` import torch.nn as nn import torch.nn.init as init class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc1 = nn.Linear(in_features=10, out_features=5) # 对权重进行Xavier初始化 init.xavier_uniform_(self.fc1.weight) # 对偏置进行常数初始化 init.constant_(self.fc1.bias, 0.1) ``` 在这个例子中，我们首先定义了一个全连接层self.fc1，它有10个输入特征和5个输出特征。然后，我们使用init.xavier_uniform_()方法对fc1的权重进行初始化，这个方法会根据输入和输出特征的数量自动计算权重的标准差。最后，我们使用init.constant_()方法对fc1的偏置进行常数初始化，这个方法会将偏置初始化为一个常数。 除了Xavier初始化和常数初始化，torch.nn.init还提供了其他一些常见的初始化方法，如Kaiming初始化、正交初始化等。这些方法可以根据具体的情况选择使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值