torch.nn.init常用函数总结

已于 2022-04-28 22:16:18 修改
阅读量4.4k 收藏 86
点赞数 13
分类专栏： 【Pytorch学习】 文章标签： pytorch 深度学习 python
于 2022-01-27 15:16:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46221946/article/details/122717592
版权
本文总结了torch.nn.init模块中的主要函数，包括uniform_、normal_、constant_、ones_、zeros_、eye_和sparse_，详细介绍了它们的功能和用法，帮助理解如何在深度学习模型中初始化权重。
摘要由CSDN通过智能技术生成

torch.nn.init中常用的函数：

  1. torch.nn.init.uniform_
  2. torch.nn.init.normal_
  3. torch.nn.init.constant_
  4. torch.nn.init.ones_
  5. torch.nn.init.zeros_
  6. torch.nn.init.eye_
  7. torch.nn.init.sparse_

torch.nn.init

torch.nn.init.uniform_

torch.nn.init.uniform_(tensor, a=0.0, b=1.0)

按均匀分布 U ( a , b ) U(a,b) U

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不牌不改
关注
  • 13
    点赞
  • 踩
  • 86
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
torch.nn.init
weixin_36670529的博客
08-29 1351
torch.nn.init.calculate_gain(nonlinearity, param=None)[source] Return the recommended gain value for the given nonlinearity function. The values are as follows: nonlinearity gain ...
PyTorch NN 常用函数
mmm305658979的博客
03-18 2776
1维卷积 >>> input (batch, in_channel, length) --> filters (out_channel, in_channel, kernel_size) >>> torch.nn.functional.conv1d(inputs, filters) 2维卷积 >>> input (batch, in...
常用torch.nn
最新发布
m0_37737957的博客
05-23 879
常用基础pytorch知识
Pytorch学习笔记--常用函数torch.nn.Sequential( )、torch.flatten()、Model.train()、Model.eval()总结2
牵一只蜗牛去散步
11-16 1431
如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()。如果模型中有BN层(Batch Normalization）和Dropout，在测试时添加model.eval()。训练完train样本后，生成的模型model要用来测试样本。在model(test)之前，需要加上model.eval()，否则的话，，即测试过程中要保证BN层的均值和方差不变。有输入数据，即使不训练，它也会改变权值。对于Dropout，model.train()是随机。
PyTorch 笔记（17）— torch.nn 包中常用的损失函数（MSELoss 均方误差、L1Loss 平均绝对误差、CrossEntropyLoss 交叉熵误差）
wohu1104的专栏
08-04 5417
1. torch.nn.MSELoss torch.nn.MSELoss 类使用均方误差函数对损失值进行计算，在定义类的对象时不用传入任何参数，但在使 用实例时需要输入两个维度一样的参数方可进行计算。示例如下： import torch as t loss_f = t.nn.MSELoss() x = t.randn(100, 100) y = t.randn(100, 100) loss = loss_f(x, y) print(loss) 以上代码首先通过随机方式生成了两个维度都是（100,10
torch的常用函数
weixin_38698410的博客
03-13 381
https://www.jianshu.com/p/d678c5e44a6b
Pythorch中torch.nn.LSTM()参数详解
01-06
通过源代码中可以看到nn.LSTM继承自nn.RNNBase,其初始化函数定义如下 class RNNBase(Module): ... def __init__(self, mode, input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0....
利用torch.nn实现二维卷积python代码
12-11
本教程将详细讲解如何利用Python的PyTorch库中的torch.nn模块来实现一个简单的二维卷积神经网络。PyTorch是一个强大的深度学习框架，它提供了丰富的API用于构建和训练神经网络。 首先，让我们从基本概念开始。二维...
浅谈Pytorch torch.optim优化器个性化的使用
09-17
from torch import nn class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, 6, 5), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(6, 16...
pytorch 中的重要模块化接口nn.Module的使用
12-20
在`forward()` 方法中，可以使用 `F.relu()` 或 `F.sigmoid()` 等函数，它们是`torch.nn.functional`模块提供的函数，可以方便地应用各种激活函数。此外，还可以使用`F.max_pool2d()` 进行最大池化操作，以及其他...
浅析PyTorch中nn.Module的使用
09-18
1. **初始化方法**：`__init__`函数是每个`nn.Module`子类必须定义的，用于初始化网络的结构。在这个方法中，你可以创建并添加层（`nn.Module`的子类，如`nn.Linear`, `nn.Conv2d`等），以及其他需要的变量。 2. **...
Pytorch学习——常用函数
polaris_c的博客
11-30 395
Pytorch torch.Tensor torch.Tensor is a multi-dimensional matrix containing elements of a single data type. torch.Tensor is an alias for the default tensor type (torch.FloatTensor). torch.nn.Conv2d...
TORCH.NN.INIT
啊呜兮兮的博客
12-28 1074
TORCH.NN.INIT1 增益：calculate_gain2 均匀填充：uniform_3 正态填充：normal_4 常量填充：constant_5 1值填充：ones_6 0值填充：zeros_7 单位矩阵填充2维Tensor：eye_8 dirac函数填充多维Tensor：dirac_ 1 增益：calculate_gain torch.nn.init.calculate_gain(nonlinearity, param=None) 为不同的函数设置不同的增益（不太理解，暂时理解为在初始化的时候
torch.nn.init()
echo_gou的博客
09-16 248
import torch import torch.nn as nn w = torch.empty(2, 3) # 1. 均匀分布 - u(a, b) # torch.nn.init.uniform_(tensor, a=0, b=1) nn.init.uniform_(w) # tensor([[ 0.0578, 0.3402, 0.5034], # [ 0.7865, 0.7280, 0.6269]]) # 2. 正态分布 - N(mean, std) # torch..
Pytorch----torch.nn.init
weiwei935707936的博客
11-06 264
均匀分布： torch.nn.init.uniform_(tensor, a=0, b=1) 正太分布： torch.nn.init.normal_(tensor, mean=0, std=1) 常数： torch.nn.init.constant_(tensor, val) Xavier： 通过网络层时，输入和输出的方差相同，包括向前传播和反向传播 如果初始化值很小，那么随着层数的传递，方差就会趋于0，此时输入值 也变得越来越小，在sigmoid上就是在0附近，接近于线性，.
pytorch 笔记：torch.nn.init
qq_40206371的博客
01-20 1125
这个在后面的一些nn.init初始化中会用到。
torch.nn.init.normal_
09-13
torch.nn.init.normal_函数是PyTorch中的一个初始化函数，用于对张量进行正态分布初始化。使用该函数可以将张量的元素以正态分布的方式进行初始化。具体使用方法如下： ```python import torch from torch import ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不牌不改

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值