pytorch初始化 创建tensor（均匀采样、正态分布采样等）

最新推荐文章于 2024-06-02 09:47:06 发布
最新推荐文章于 2024-06-02 09:47:06 发布
阅读量7.5k 收藏 6
点赞数 1
文章标签： python pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41993290/article/details/101454378
版权

文章目录

均匀采样

torch.rand()在[0,1]中均匀采样
torch.rand_like()
*_like标签的接收的是tensor
在这里插入图片描述

torch.randint(1,10,[3,3])随机的是[1,10)的整数[3,3]为shape
示例1

full的使用

在这里插入图片描述
torch.full([],7)创建的是标量
torch.full([1],7)创建的是tensor
在这里插入图片描述

正态分布采样

torch.randn(3,3)均值为0方差为1的[3,3]tensor
在这里插入图片描述
torch.full([10],0)长度为10，值都为0的tensor
torch.arange(1,0,-0.1)从1开始向0减少 一次减0.1
在这里插入图片描述
torch.normal正态分布
在这里插入图片描述

arange/range

第三个参数是阶梯
不推荐使用range函数
在这里插入图片描述

linspace/logspace

steps为数量值
arange中为阶梯
torch.linspace(0,10,steps=11)
linspace为[0,10]
torch.logspace(0,-1,steps=10)
logspace为100~10-1

在这里插入图片描述

Ones/zeros/eye

输入shape
ones为全1
zeros为全0
eye为对角线，适合矩阵
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

randperm

随机打散
在这里插入图片描述

room_τ
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
torch.nn.interpolate—torch上采样和下采样操作
爱在深秋
08-30 7115
最近博主搭建网络需要用到一些直接对于GPU上的tensor的上采样和下采样操作，如果使用opencv那么就需要先将数据从GPU上面copy到CPU，操作完后在转移到GPU。这样不能利用GPU的加速技术，并且还会导致程序阻塞，pytorch中带有函数interpolate可以实现这个功能，下面详细讲解这个函数的使用。.........
使用Python实现正态分布、正态分布采样
01-02
多元正态分布(多元高斯分布) 直接从多元正态分布讲起。多元正态分布公式如下： 这就是多元正态分布的定义，均值好理解，就是高斯分布的概率分布值最大的位置，进行采样时也就是采样的中心点。而协方差矩阵在多维上形式较多。 协方差矩阵 一般来说，协方差矩阵有三种形式，分别称为球形、对角和全协方差。以二元为例： 为了方便展示不同协方差矩阵的效果，我们以二维为例。(书上截的图，凑活着看吧，是在不想画图了) 其实从这个图上可以很好的看出，协方差矩阵对正态分布的影响，也就很好明白了这三个协方差矩阵是哪里来的名字了。可以看出，球形协方差矩阵，会产生圆形(二维)或者球形(三维)的等高线，对角协方差矩阵和全协方
pytorch torch.nn 实现上采样——nn.Upsample
云中寻雾的博客
08-19 2万+
Vision layers 1）Upsample CLASS torch.nn.Upsample(size=None, scale_factor=None, mode='nearest', align_corners=None) 上采样一个给定的多通道的1D (temporal,如向量数据), 2D (spatial，如jpg、png等图像数据) or 3D (volumetric，如点云数据)数据 假设输入数据的格式为minibatch x channels x [optional depth].
Pytorch分布采样：torch.distributions.Normal(mean, std).sample() 和 torch.multinomial()
最新发布
YHKKun的博客
06-02 443
如果动作空间是离散的（例如，选择向左、向右、跳跃或蹲下），可以使用。在强化学习中，如果动作空间是连续的（例如，调整机器人的关节角度），可以选择。来根据每个动作的概率采样一个动作。
Pytorch之上采样
Ztomepic的博客
01-01 817
nn.Upsample CLASS torch.nn.Upsample(size=None, scale_factor=None, mode='nearest', align_corners=None) 参数： size – 根据不同的输入类型制定的输出大小 scale_factor – 指定输出为输入的多少倍数。如果输入为tuple，其也要制定为tuple类型。注意：size跟sca...
Pytorch：均匀分布（a,b）[tensor类型]
perdonare的博客
03-29 2856
(b-a)*torch.rand(m,n)+a [m,n]：生成均匀分布的形状
Pytorch常用的函数(四)深度学习中常见的上采样方法总结
qq_44665283的博客
11-11 2535
Pytorch常用的函数(四)深度学习中常见的上采样方法总结
对Pytorch神经网络初始化kaiming分布详解
01-20
函数的增益值 ...pytorch计算fan_in和fan_out的源码 def _calculate_fan_in_and_fan_out(tensor): dimensions = tensor.ndimension() if dimensions < 2: raise ValueError(Fan in and fan out can n
Pytorch 实现权重初始化
09-18
- `normal(tensor, mean=0, std=1)`：根据给定的均值 `mean` 和标准差 `std` 从正态分布中初始化张量。 - `xavier_uniform(tensor, gain=1)`：使用 Xavier Glorot 方法均匀初始化权重，以确保输入和输出之间的方差...
pytorch自定义初始化权重的方法
12-31
在常见的pytorch代码中，我们见到的初始化方式都是调用init类对每层所有参数进行初始化。但是，有时我们有些特殊需求，比如用某一层的权重取优化其它层，或者手动指定某些权重的初始值。 核心思想就是构造和该层权重...
python PyTorch参数初始化和Finetune
09-20
一种常见的初始化方法是正态分布初始化，如在卷积层中，我们可以使用以下代码： ```python def weight_init(m): if isinstance(m, nn.Conv2d): n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels m....
Pytorch上下采样函数--interpolate
weixin_36670529的博客
05-04 2659
torch.nn.functional.interpolate(input, size=None, scale_factor=None, mode=‘nearest’, align_corners=None) 函数的参数如下： input (Tensor) – the input tensor size (int or Tuple[int] or Tuple[int, int] or Tuple[int, int, int]) – output spatial size. scale_factor
Pytorch 对张量进行随机采样
毛毛的博客
09-07 9588
更多pytorch操作见：Pytorch学习之torch 如何对张量进行随机采样 假设我目前的张量的shape为[B,N,C]=[32,512,64][B,N,C] = [32,512,64][B,N,C]=[32,512,64]，N表示点的数量，我要从中随机选取64个点，且为不重复采样。 a = torch.randn((32,512,64)) print(a.shape) # torch.Size([32, 512, 64]) B,N,C = a.shape S = 64 list = torch.L
2.2 批量处理图片的下采样方法（pytorch的最大池化法）
weixin_71719718的博客
08-09 244
down_image_saves=os.path.join(img_save,item)#保存下采样图片的路径。image_path=os.path.join(img_path,item)#图片的具体路径。# 修改矩阵的维度：1080X1920X3------>1X3X1080X1920。# 修改矩阵维数：1X3X270X480---->270X480X3。#批量图片的下采样：输入图片的文件夹路径和要保存的下采样的文件夹路径。# 修改矩阵类型：array--->tensor。# 下载下采样后的图片。
【pytorch】创建自己的数据集，并按类别的比例划分得到均匀的数据集
weixin_43955398的博客
08-14 928
会导致每一类的数据取得不均匀，也就是说，可能类别0取了30个，类别1取了26个，类别2取了38个这样的情况，我们希望每个类别都取30个。加载数据集使用datasets中的ImageFolder函数即可快速加载上图形式的数据。，共900条数据，如图-1所示，每个文件夹中包含一类数据，共6个文件夹。划分数据集，但又不想人为移动文件进行手动划分。数据集有6个类别，每个类别的数据有150个。
矩阵快速幂——从入门到放弃(看这一篇就够了)
Cherrt的博客
10-04 903
文章目录Part 1: 矩阵的运算Part 2: 例题与讲解例1. 斐波那契数列练1. P2359三素素数(数据加强: n≤1018n≤10^{18}n≤1018)练2. P5343[XR-1]分块练3. P1939[模板]矩阵加速例2. [SCOI2009]迷路例3. [NOI Online #3提高组]魔法值练2: [NOI2020D1T1]美食家例4. [TJOI2017]可乐 Part 1: 矩阵的运算 矩阵有许多种运算，这里列举出其中最常用的三个。为了方便书写，假设参与运算的两个矩阵是A,BA,
pytorch:常见的pytorch参数初始化方法总结
tony365的博客
10-21 4530
使输入的张量服从（a,b）的均匀分布并返回。 从给定的均值和标准差的正态分布N(mean,std)中生成值，初始化张量。 以一确定数值初始化张量。 从均匀分布U(−a, a)中采样，初始化输入张量，其中a的值由如下公式确定,公式中的gain值根据不同的激活函数确定 [1]https://www.cxyzjd.com/article/CQUSongYuxin/110928126 9）正交初始化 10) 自定义初始化 在搭建模型的时候 会 遇到需要自己自定义初始化数据的时候 总之，参数初始化就是 给 参
正态分布、正态分布采样及Python实现
热门推荐
Master He的博客
12-27 2万+
正态分布、正态分布采样及Python实现多元正态分布(多元高斯分布)协方差矩阵协方差分解变量的线性变换(正态分布采样原理)python实现参考文献 多元正态分布(多元高斯分布) 直接从多元正态分布讲起。多元正态分布公式如下： Pr=1(2π)D/2∣∑∣1/2exp(−0.5(x−μ)T∑−1(x−μ)))P_r = \frac{1}{(2\pi )^{D/2}\left | \sum \rig...
python分布采样_使用Python实现正态分布、正态分布采样
weixin_32566055的博客
03-02 4223
怎么在高斯分布中采样得到向量python[把你所有的心事都告诉小编小编虽然不会说但小编听得懂]极限定义：设{Xn}为一无穷数列，如果存在常数a对于任意给定的正数ε(不论它多么小)，总存在正整数N，使得当n>N时的一切Xn。如何用python numpy产生一个正态分布随机数的向量一般的正态分布可以通过标准正态分布配合数学期望向量和协方差矩阵得到。如下代码，可以得到满足一维和二维正态分布的样本...
pytorch神经网络He正态分布初始化
07-28
在PyTorch中，He正态分布初始化是一种用于初始化神经网络权重的方法。它是由何凯明在2015年提出的，针对ReLU激活函数的特性进行了改进。相比于Xavier初始化在ReLU中的表现较差，He初始化能够更好地适应ReLU的非线性特性。\[2\] 在PyTorch中，可以使用torch.nn.init.kaiming_normal_函数来进行He正态分布初始化。该函数的参数包括要初始化的张量和非线性激活函数的类型。具体而言，对于ReLU激活函数，可以使用nonlinearity='relu'来指定。例如，可以使用以下代码进行He正态分布初始化： ```python import torch import torch.nn as nn # 定义一个卷积层 conv = nn.Conv2d(in_channels, out_channels, kernel_size) # 使用He正态分布初始化 nn.init.kaiming_normal_(conv.weight, nonlinearity='relu') ``` 这样，卷积层的权重将会按照He正态分布进行初始化，以更好地适应ReLU激活函数的特性。\[2\] #### 引用[.reference_title] - *1* *3* [PyTorch中的Xavier以及He权重初始化方法解释](https://blog.csdn.net/weixin_39653948/article/details/107950764)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Pytorch神经网络初始化kaiming分布](https://blog.csdn.net/weixin_36670529/article/details/104031247)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值