nn.init.normal_()and.uniform_()and.constant_()

已于 2023-01-11 13:35:46 修改
阅读量1.6k 收藏 6
点赞数 4
分类专栏： Pytorch 中的各种函数 文章标签： pytorch Powered by 金山文档
于 2023-01-10 12:56:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z2572862506/article/details/128627856
版权

作用:

将给定的值填充到tensor中

原因:

使neural network 中的各层神经元的数据分布尽量保持相等,有利于信息的流动

1 torch.nn.init.uniform_(tensor, a, b)

均匀分布 ~ U(a, b)

2 torch.nn.init.normal_(tensor, mean, std)

正态分布 ~ N(mean, std)

3 torch.nn.init.constant_(tensor, value)

初始化整个矩阵为常数 value

怎样才能回到过去
关注
专栏目录
torch.nn.init常用函数总结
LJR的博客
01-27 4486
torch.nn.init中常用的函数：torch.nn.init.uniform_ torch.nn.init.normal_ torch.nn.init.constant_ torch.nn.init.ones_ torch.nn.init.zeros_ torch.nn.init.eye_ torch.nn.init.sparse_
211014记录：pytorch模型中初始化公式（共13种）总结torch.nn.init
weixin_48635857的博客
10-14 746
torch官方网址： https://pytorch.org/docs/stable/nn.init.html 1、均匀分布U(a,b) torch.nn.init.uniform_(tensor, a=0.0, b=1.0) 2、 torch.nn.init.normal_(tensor, mean=0.0, std=1.0) 3、 torch.nn.init.constant_(tensor, val) 4、 torch.nn.init.ones_(tensor) 5、 torch.nn.init.z
Pytorch——torch.init.normal_()函数
最新发布
Williamcsj的博客
12-21 447
torch.init.normal_：给tensor初始化，一般是给网络中参数weight初始化，初始化参数值符合正态分布。
pytorch系列 -- 9 pytorch nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization
热门推荐
墨流觞的博客
11-11 6万+
本文内容： 1. Xavier 初始化 2. nn.init 中各种初始化函数 3. He 初始化 torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init 1. 均匀分布 torch.nn.init.uniform_(tensor, a=0, b=1) 服从~U(a,b)U(a, b)U(a,b) 2. 正太分布 tor...
深入浅出Pytorch函数——torch.nn.init.normal_
冯·诺依曼
08-19 1626
torch.nn.init.normal_(tensor, mean=0.0, std=1.0)
Pytorch学习笔记--常用函数nn.init.normal()、nn.init.constant_()、torch.from_numpy()、torch.index_select()总结4
牵一只蜗牛去散步
12-02 2906
torch.from_numpy(numpy_array)基于输入numpy数组（numpy_array）返回一个tensor张量（数据不变，类型转换），作用是转换numpy_array -> tensor。torch.nn.init.constant_(tensor, val)基于输入参数（val）初始化输入张量tensor，即tensor的值均初始化为val。torch.nn.init.normal(tensor, mean, std)基于输入参数（均值mean和标准差std）输入张量tensor；
torch.init.normal_和torch.init.constant_用法
weixin_47156261的博客
05-16 7264
torch.init.normal_：给tensor初始化，一般是给网络中参数weight初始化，初始化参数值符合正态分布。 torch.init.normal_(tensor,mean=,std=) ,mean:均值，std:正态分布的标准差 代码示例： import torch import torch.nn as nn l=nn.Conv2d(2,2,kernel_size=1) a=l.weight print("a:",a) b=nn.init.normal_(l.weight,mean=0,st
nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization
weixin_36670529的博客
05-07 2084
1. 均匀分布 torch.nn.init.uniform_(tensor, a=0, b=1) 服从~U(a,b) U(a,b) 2. 正太分布 torch.nn.init.normal_(tensor, mean=0, std=1) 服从~N(mean,std) N(mean,std) 3. 初始化为常数 torch.nn.init.constant_(tensor, val) ...
Pytorch网络参数初始化方法总结torch.nn.init
神仙院B栋4楼保安的博客
12-09 2819
Pytorch网络参数初始化方法总结均匀分布初始化torch.nn.init.uniform_()正态分布初始化torch.nn.init.normal_()常量初始化torch.nn.init.constant_()Xavier初始化Xavier均匀分布初始化torch.nn.init.xavier_uniform_()Xavier正态分布初始化torch.nn.init.xavier_normal_()kaiming初始化kaiming均匀分布初始化torch.nn.init.kaiming_unifo
torch.init.normal_和torch.init.constant_的用法
张齐贤的博客
11-15 1447
init.normal_(self.proj_parse[0].weight, std=0.01) #给tensor初始化，一般是给网络中参数weight初始化，初始化参数值符合正态分布 init.normal_(self.proj_parse[1].weight, std=0.01) init.constant_(self.proj_parse[0].bias, 0) init.constant_(self.proj_parse[1].bias, 0)
深入浅出Pytorch函数——torch.nn.init.uniform_
冯·诺依曼
08-19 3634
torch.nn.init.uniform_(tensor, a=0.0, b=1.0)
nn.init
芒果干的博客
02-27 335
nn.init初始化函数参数: pytorch文档nn.init.uniform_(tensor, a=0, b=1)下面举一个初始化时的例子 可以看到初始化的结果在0-1之间，当初始化的数据足够多时服从均匀分布，之后的初始化方法与之相同，就不在举例了持续更新中…
torch.nn.init
每日提升一点点
06-16 219
import torch import torch.nn as nn a = torch.Tensor(10, 5) print(a) b = torch.nn.init.uniform_(a, a=0, b=1) print(b) ---------------------------------------------- res: tensor([[1.6907e-01, 1.7743e+28, 1.1673e-32, 4.6280e+27, 7.2151e+22], [3.6...
pytorch 笔记：torch.nn.init
qq_40206371的博客
01-20 1146
这个在后面的一些nn.init初始化中会用到。
【torch.nn.init】初始化参数方法解读
zyw2002的博客
12-04 3496
格式作用从均匀分布U(a,b)U(a,b)U(a,b)中生成值，填充输入的张量或变量。参数例子 正态分布 格式作用从给定均值和标准差的正态分布N(mean,std)N(mean,std)N(mean,std)中生成值，填充输入的张量或变量。参数 常数分布 格式作用用的值填充输入的张量或变量参数 全1分布 格式作用用全0填充张量参数例子 全0分布 格式作用用全1填充张量参数例子 对角分布 格式作用用单位矩阵来填充2维输入张量或变量参数 dirac 分布 格式作用用Dirac δ函数来填
Pytorch 中torch.nn.Linear的权重初始化
D_handsome的博客
01-27 2万+
最近学习李沐老师pytorch课程，在software回归一节中 模型建立首先进行初始化参数（权重……），课程代码如下： net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10)) #nn.Flatten将多维张量压缩为二维（一行）进而进行线性操作、 def init_weights(m): if type(m) == nn.Linear: nn.init.normal_(m.weight, std=0.01) net.app
PyTorch模型参数初始化（weights_init）——torch.nn.init、加载预权重
Chaoy6565的博客
12-17 4856
网络模型预权重设置加载初始化。
def init_weights(m):
06-04
这个函数使用了三个常见的初始化方法，分别是xavier_uniform、constant和normal。它对模型中的卷积层、批归一化层和全连接层进行了初始化。其中，xavier_uniform是一种比较常用的初始化方法，它可以使得每层输出的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值