torch.nn.init

已于 2023-11-02 20:34:08 修改
阅读量1.3k 收藏 2
点赞数 1
分类专栏： Pytorch 文章标签： 计算机视觉 深度学习 机器学习
于 2022-08-29 13:54:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36670529/article/details/101194024
版权
本文详细介绍了PyTorch中torch.nn.init模块的权重初始化方法，包括均匀分布、正态分布、恒定值填充，以及适用于深度学习层的初始化策略，如Glorot初始化和He初始化等，帮助理解这些初始化方法在神经网络训练中的作用和影响。
摘要由CSDN通过智能技术生成

参考   torch.nn.init - 云+社区 - 腾讯云

torch.nn.init.calculate_gain(nonlinearity, param=None)[source]

Return the recommended gain value for the given nonlinearity function. The values are as follows:

nonlinearity

gain

Linear / Identity

1

Conv{1,2,3}D

1

Sigmoid

1

Tanh

\frac{5}{3}

ReLU

\sqrt{2}

Leaky Relu

 \sqrt{\frac{2}{1+negtive\_slope^2}}

​Parameters

  • nonlinearity – the non-linear function (nn.functional name)

  • param – optional parameter for the non-linear function

Examples

>>> gain = nn.init.calculate_gain('leaky_relu', 0.2)  # leaky_relu with negative_slope=0.2

torch.nn.init.uniform_(tensor, a=0.0, b=1.0)[source]

Fills the input Tensor with values drawn from the uniform distribution U(a,b)\mathcal{U}(a, b)U(a,b) .

Parameters

  • tensor – an n-dimensional torch.Tensor

  • a – the lower bound of the uniform distribution

  • b – the upper bound of the uniform distribution

Examples

>>> w = torch.empty(3, 5)
>>> nn.init.uniform_(w)

torch.nn.init.normal_(tensor, mean=0.0, std=1.0)[source]

Fills the input Tensor with values drawn from the normal distribution

最低0.47元/天 解锁文章
Wanderer001
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
torch.nn.init细节
weixin_39718268的博客
03-31 331
torch.nn.init细节 毕业论文进度0/50。大晚上挂着下骑砍2想顺便写论文的，内心太抗拒没办法，在这把以前看到的一些torch里的细节记录一下吧。 Abstract torch默认的卷积初始化针对的激活函是slope=5slope=\sqrt{5}slope=5​的leaky-relu，而不是relu。 常见init的种类 平时能用到的卷积的初始化一般涉及到两个名字：xavier,kai...
TORCH.NN.INIT
啊呜兮兮的博客
12-28 1074
TORCH.NN.INIT1 增益：calculate_gain2 均匀填充：uniform_3 正态填充：normal_4 常量填充：constant_5 1值填充：ones_6 0值填充：zeros_7 单位矩阵填充2维Tensor：eye_8 dirac函数填充多维Tensor：dirac_ 1 增益：calculate_gain torch.nn.init.calculate_gain(nonlinearity, param=None) 为不同的函数设置不同的增益（不太理解，暂时理解为在初始化的时候
PyTorch 1.0 中文文档：torch.nn.init
热门推荐
龙哥盟
02-17 3万+
译者：GeneZC torch.nn.init.calculate_gain(nonlinearity, param=None) 返回给定非线性函数的推荐的增益值。对应关系如下表： 非线性函数 增益 Linear / Identity Conv{1,2,3}D Sigmoid Tanh ReLU Leaky Relu 参数： nonlin...
Pythorch中torch.nn.LSTM()参数详解
01-06
通过源代码中可以看到nn.LSTM继承自nn.RNNBase,其初始化函数定义如下 class RNNBase(Module): ... def __init__(self, mode, input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0....
利用torch.nn实现二维卷积python代码
12-11
本教程将详细讲解如何利用Python的PyTorch库中的torch.nn模块来实现一个简单的二维卷积神经网络。PyTorch是一个强大的深度学习框架，它提供了丰富的API用于构建和训练神经网络。 首先，让我们从基本概念开始。二维...
浅谈Pytorch torch.optim优化器个性化的使用
09-17
from torch import nn class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, 6, 5), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(6, 16...
pytorch 中的重要模块化接口nn.Module的使用
12-20
在PyTorch中，`torch.nn` 是一个关键的库，专门用于构建和操作神经网络。这个库构建在`autograd`之上，使得定义、训练和优化神经网络变得简单而直观。`nn.Module` 是`nn`库中的核心类，它是所有神经网络模块的基类。...
浅析PyTorch中nn.Module的使用
09-18
import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() self.hidden = nn.Linear(n_feature, n_...
torch.nn.init()
echo_gou的博客
09-16 248
import torch import torch.nn as nn w = torch.empty(2, 3) # 1. 均匀分布 - u(a, b) # torch.nn.init.uniform_(tensor, a=0, b=1) nn.init.uniform_(w) # tensor([[ 0.0578, 0.3402, 0.5034], # [ 0.7865, 0.7280, 0.6269]]) # 2. 正态分布 - N(mean, std) # torch..
Pytorch----torch.nn.init
weiwei935707936的博客
11-06 264
均匀分布： torch.nn.init.uniform_(tensor, a=0, b=1) 正太分布： torch.nn.init.normal_(tensor, mean=0, std=1) 常数： torch.nn.init.constant_(tensor, val) Xavier： 通过网络层时，输入和输出的方差相同，包括向前传播和反向传播 如果初始化值很小，那么随着层数的传递，方差就会趋于0，此时输入值 也变得越来越小，在sigmoid上就是在0附近，接近于线性，.
深度之眼 PyTorch 训练营第 4 期 (7)：torch.nn.init
花解语
05-19 624
文章目录1. torch.nn.init 概述2. 梯度消失和梯度爆炸3. `torch.nn.init.calculate_gain`4. Xavier initialization5. Kaiming initialization6. 其它初始化方法 1. torch.nn.init 概述 因为神经网络的训练过程其实是寻找最优解的过程，所以神经元的初始值非常重要。如果初始值恰好在最优解附近，神经网络的训练会非常简单。而当神经网络的层数增加以后，一个突出的问题就是梯度消失和梯度爆炸。前者指的是由于梯度接近
torch.nn.init 官方使用手册「总结」
江南蜡笔小新
03-28 3070
https://ptorch.com/docs/1/nn-init
pytorch 笔记：torch.nn.init
qq_40206371的博客
01-20 1125
这个在后面的一些nn.init初始化中会用到。
PyTorch----torch.nn.init.kaiming_normal_
最新发布
xinxin的博客
03-27 1576
具体而言，对于ReLU激活函数，Kaiming初始化方法使用了激活函数的非线性属性，将权重初始化为以0为中心、标准差为sqrt(2 / fan_in)的正态分布，其中fan_in表示输入的数量。Kaiming初始化方法用正态分布中采样的值初始化权重，该正态分布的均值为0，标准差根据层中使用的特定非线性计算。传统的初始化方法，如Xavier初始化，是根据输入和输出层的连接数来初始化权重的，但在使用ReLU激活函数时，这种方法可能导致梯度在反向传播过程中逐渐消失，尤其是在深度网络中。该参数影响如何计算标准差。
torch 默认参数初始化_[DL] PyTorch 折桂 8：torch.nn.init
weixin_39667509的博客
11-25 402
往期汇总：PyTorch 折桂 1：张量的性质PyTorch 折桂 2：张量的运算 1PyTorch 折桂 3：张量的运算 2PyTorch 折桂 4：torch.autographPyTorch 折桂 5：PyTorch 模块总览 & torch.utils.dataPyTorch 折桂 6：torch.nn 总览 & torch.nn.ModulePyTorch 折桂...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wanderer001

ROIAlign原理

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值