PyTorch中的Tensor

最新推荐文章于 2024-02-11 19:41:38 发布
最新推荐文章于 2024-02-11 19:41:38 发布
阅读量208 收藏 2
点赞数
分类专栏： Pytorch学习 文章标签： PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kissedbywater/article/details/102504897
版权

文章目录

Tensor 与 Variable

Variable

torch.autograd.Variable()

Variable 是torch.autograd中的数据类型(但目前已并入Tensor), 主要用于封装tensor, 进行自动求导

  • data: 被包装的tensor
  • grad: data 的梯度
  • grad_fn: 创建Tensor的Function(加法，乘法等), 是自动求导的关键
  • requires_grad: 指示是否需要梯度
  • is_leaf: 指示是否是叶子结点(张量)

Tensor

PyTorch0.4.0版开始，Variable并入Tensor

  • data, grad, grad_fn, requires_grad, is_leaf 同上
  • dtype：张量的数据类型，如torch.FloatTensor（32位）, torch.cuda.FloatTensor
  • shape: 张量的形状， 如(64, 3, 255, 255)
  • device: 张量所在设备， GPU/CPU

Tensor的创建

一：直接创建

1.1 torch.tensor()

torch.tensor(
			data,
			dytpe=None,
			device=none，
			requires_grad=False,
			pin_memory=False)

功能: 从data创建tensor

参数:

  • data: 数据，可以是list， numpy
  • dtype: 数据类型， 默认与data一致
  • device: 所在设备， cuda/cpu
  • requires_grad: 是否需要梯度
  • pin_memory: 是否存于锁页内存
import torch
import numpy as np

# 通过torch.tensor 创建张量
flag = True
if flag:
    arr = np.ones((3, 3))
    print('ndarry的数据类型: ', arr.dtype)
    t1 = torch.tensor(arr, device='cuda')
    t2 = torch.tensor(arr)
    print('t1=', t1)
    print('t2=', t2)
    
>>>
ndarry的数据类型:  float64
t1= tensor([[1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.]], device='cuda:0', dtype=torch.float64)
t2= tensor([[1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.]], dtype=torch.float64)

‘cuda:0’: 0是因为本地只有1个GPU

1.2 torch.from_numpy()

torch.from_numpy(ndarray)

功能： 从numpy创建tensor

注意事项: 从tensor.from_numpy创建的tensor与原ndarray共享内存， 当修改其中一个的数据，另一个也将被改动

flag = True
if flag:
    arr = np.array([[1, 2, 3], [4, 5, 6]])
    t = torch.from_numpy(arr)
    print('numpy array: ', arr)
    print('tensor: ', t)
    
    print('\n修改arr')
    arr[0, 0] = 0
    print('numpy array: ', arr)
    print('tensor: ', t)
    
    print('\n修改tensor')
    arr[0, 0] = -1
    print('numpy array: ', arr)
    print('tensor: ', t)
    # arr 和 t 的地址不同
    print(id(arr) == id(t))
>>>
numpy array:  [[1 2 3]
 [4 5 6]]
tensor:  tensor([[1, 2, 3],
        [4, 5, 6]], dtype=torch.int32)

修改arr
numpy array:  [[0 2 3]
 [4 5 6]]
tensor:  tensor([[0, 2, 3],
        [4, 5, 6]], dtype=torch.int32)

修改tensor
numpy array:  [[-1  2  3]
 [ 4  5  6]]
tensor:  tensor([[-1,  2,  3],
        [ 4,  5,  6]], dtype=torch.int32)
False

二、依据数值创建

2.1 torch.zeros()

torch.zeros(*size,
			out=None,
			dtype=None,
			layout=torch.strided,
			device=None,
			requires_grad=False)

功能: 依size创建全0张量
参数:

  • size: 张量的形状， 如(3, 3), (3, 224, 224)
  • out: 输出的张量
  • layout: 内存中布局形式, 有strided, sparse_coo(稀疏张量时设置，可以提供效率)等
  • device: 所在设备， gpu/cpu
  • requires_grad: 是否需要梯度
# 通过torch.zeros 创建张量

flag = True
if flag:
    out_t = torch.tensor([1])
    print('out_t: ', out_t)
    # t和out_t是同一个数据， out将torch。zeros生成的张量t赋给了out_t
    t = torch.zeros((3, 3), out=out_t)
    
    print('out_t: ', out_t)
    print('t: ', t)
    print('id(out_t): ', id(out_t))
    print('id(t): ', id(t))
    print(id(out_t) == id(t))
>>>
out_t:  tensor([1])
out_t:  tensor([[0, 0, 0],
        [0, 0, 0],
        [0, 0, 0]])
t:  tensor([[0, 0, 0],
        [0, 0, 0],
        [0, 0, 0]])
id(out_t):  2227084130560
id(t):  2227084130560
True

2.2 torch.zeros_like()

torch.zeros_like(input, 
				dtype=None,
				layout=None,
				device=None,
				requires_grad=False)

功能: 依input形状创建全0张量
参数:

  • input: 创建与input同形状的全0张量
  • dtype: 数据类型
  • layout: 内存中的布局形式

2.3 torch.ones()

torch.ones(*size,
			out=Noen,
			dtype=None, 
			layout=torch,strided,
			device=None,
			requires_grad=False)

2.4 torch.ones_like()

torch.ones_like(input,
				dtype=None, 
				layout=None,
				device=None, 
				require_grad=False)

功能: 依input形状创建全1张量
参数

  • size: 张量的形状, 如(3, 3), (3, 224, 224)
  • input: 创建与input同形状的全1张量
  • dtype: 数据类型
  • layout: 内存中的布局形式
  • requires_grad: 是否需要梯度

2.5 torch.full()

torch.full(size,
			fill_value,
			out=Noen,
			dtype=None, 
			layout=torch,strided,
			device=None,
			requires_grad=False)

功能: 依input创建全fill_valu的值
参数

  • size：张量的形状, 如（3, 3）
  • fill_value: 张量的值
flag = True
if flag:
    t = torch.full((3, 3), 5)
    print(t)
>>>
tensor([[5., 5., 5.],
        [5., 5., 5.],
        [5., 5., 5.]])

2.6 torch.full_like()

2.7 torch.arange()

torch.arange(start=0,
			end,
			step=1,
			out=None,
			dtype=None, 
			layout=torch.strided,
			device=None,
			requires_grad=False)

功能: 创建等差的1维张量
注意事项: 数值区间为[start, end）
参数:

  • start: 数列起始值
  • end: 数列结束值， 取不到
  • step: 数列公差， 默认为1
flag = True
if flag:
    # 创建一个偶数列
    t = torch.arange(0, 10, 2)
    print(t)
>>>
tensor([0, 2, 4, 6, 8])

2.8 torch.linspace()

torch.linspace(start, 
				end,
				steps=100,
				out=None,
				dtype=None, 
				layout=torch.strided,
				device=None,
				requires_grad=False)

功能: 创建均分的1维张量
注意事项: 数值区间是[start, end]
参数:

  • start: 数列起始值
  • end: 数列的结束值
  • steps： 数列长度
flag = True
if flag:
    t = torch.linspace(0, 10, 5)
    print(t)
>>>
tensor([ 0.0000,  2.5000,  5.0000,  7.5000, 10.0000])

2.9 torch.logspace()

torch.logspace(strat,
				end,
				steps=100,
				base=10.0,
				out=None,
				dtype=None,
				layout=torch.strided,
				device=None,
				requires_grad=False)

功能: 创建对数均分的1维张量
注意事项: 长度为steps， 底为base
参数:

  • start: 数列起始值
  • end: 数列的结束值
  • steps: 数列长度
  • base: 对数函数的底， 默认为10

2.10 torch.eye()

torch.eye(n,
		m=None,
		out=None,
		dtype=None,
		layout=torch.strided,
		device=None,
		requires_grad=False)

功能: 创建单位对角矩阵（2维张量）
注意事项: 默认方阵
参数:

  • n: 矩阵行数
  • m: 矩阵列数

三、依概率分布创建张量

3.1 torch.normal()

torch.normal(mean,
			std,
			out=None)
			
torch.normal(mean,
			std,
			size,
			out=None)

功能：生成正态分布
参数：

  • mean: 均值
  • std: 标准差
    四种模式:
  • mean是标量， std是标量 (没能运行成功，可能版本问题)
  • mean是标量， std是张量
  • mean是张量， std是标量
  • mean是张量， std是张量
flag = True
if flag:
    # mean: 张量； std: 张量
    mean = torch.arange(1, 5, dtype=torch.float)
    std = torch.arange(1, 5, dtype=torch.float)
    t_normal1 = torch.normal(mean, std)
    print('mean:{}\nstd:{}'.format(mean, std))
    print(t_normal1)
    
    # mean： 张量， std： 标量
    t_normal2 = torch.normal(mean, 1)
    print(t_normal2)
    
    # mean： 标量， std： 张量
    t_normal2 = torch.normal(0., std)
    print(t_normal2)
>>>
mean:tensor([1., 2., 3., 4.])
std:tensor([1., 2., 3., 4.])
tensor([1.5164, 0.7705, 9.4894, 0.7906])
tensor([0.6021, 1.2874, 2.5276, 3.1236])
tensor([-1.2483, -1.6057,  3.2328, -0.6405])

3.2 torch.randn()

torch.randn(*size,
			out=Noen,
			dtype=None, 
			layout=torch,strided,
			device=None,
			requires_grad=False)

功能: 生成标准正态分布
参数:

  • size: 张量的形状

3.3 torch.randn_like()

3.4 torch.rand()

torch.rand(*size,
			out=Noen,
			dtype=None, 
			layout=torch,strided,
			device=None,
			requires_grad=False)

功能: 再区间[0, 1)上，生成均匀分布

3.5 torch.rand_like()

3.6 torch.randint()

torch.randint(low=0,
			high,
			size,
			out=Noen,
			dtype=None, 
			layout=torch,strided,
			device=None,
			requires_grad=False)

功能: 区间[low, high)上生成整数均匀分布
参数:

  • size: 张量的形状

3.8 torch.randperm()

torch.randperm(n,
			out=Noen,
			dtype=None, 
			layout=torch,strided,
			device=None,
			requires_grad=False)

功能: 生成从0到n-1的随机排列
参数:

  • n: 张量的长度

3.9 torch.bernoulli()

torch.bernoulli(input,
				*,
				generator=None,
				out=None)

功能: 以input为概率，生成伯努利分布(0-1分布， 两点分布)
参数:

  • input: 概率值
美式半糖不加奶
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
张量入门（Tensor for Beginners）（一）
形式化验证学习者的博客
08-08 2395
第一章：什么是张量 1.1 张量的用途 1.1.1 背景介绍         在维基百科中查得，“张量”这个概念是由格雷戈里奥·里奇-库尔巴斯托罗在1890年在《绝对微分几何》的标题下发展出来的，随着1900年列维-奇维塔的经典文章《绝对微分》（意大利文，随后出版了其他译本）的出版而为许多数学家所知。随着1915年左右爱因斯坦的广义相对论的引入，张量微积分获得了更广泛的承认。广义相对论完全由...
张量的创建
weixin_44436611的博客
12-16 345
Variable与Tensor Variable 是torch.autograd中的数据类型（0.4.0之前）主要用于封装Tensor,进行自动求导 data: 被包装的Tensor grad:data 的梯度 grad_fn 创建Tensor的Function，是自动求导的关键 requires_grad: 指示是否需要梯度 is_leaf:指示是否是叶子结点（张量） dtype：张量的数据...
张量简介
define_us的专栏
01-07 628
（1）标量是0阶张量，其值与坐标系的选取无关 如质量等 （2）矢量是1阶张量 如速度。应力，应变等 （3）爱因斯坦求和约定 如果在表达式的某些项中，相同下标出现两次，则要对指标范围内进行求和。 例如（括号里的视为下标，i可取1,2,3） a(i)b(i) = a(1)b(1)+a(2)b(2)+a(3)b(3) （4）高阶张量源自于低阶张量的梯度和并积
张量的创建、属性及运算
zzhe
07-22 278
1. 张量的创建 import numpy as np 标量（0D 张量） x = np.array(1) print(x) print(x.ndim) 1 0 向量（1D 张量） y = np.array([1,2,3]) print(y) print(y.ndim) [1 2 3] 1 矩阵（2D 张量） z = np.array([[1,2,3], [4,5,6], [7,8,9]]) print(z) print...
国科大&首师大综述 张量网络：增强量子机器学习效率
MS_YangZhanZhang的博客
01-10 845
对于量子启发的 ML，TN 的优势可以从两个关键方面来总结：用于可解释性的量子理论和用于提高效率的量子方法。总之，纠缠熵的面积定律为模拟量子系统的 TN 的表示或计算能力提供了内在的解释。在这里，研究人员围绕这两个问题，从特征映射、建模和基于量子计算的 ML 这三个角度介绍了近期在量子启发 ML 方面的神经网络的令人鼓舞的进展。近日，首都师范大学的冉仕举和中国科学院大学的苏刚从量子力学中汲取灵感，综述了一种基于 TN 的创新方法，为协调深度机器学习的可解释性和效率这一长期挑战提供了一个有前景的解决方案。
PyTorch中Tensor的维度变换实现
09-18
在PyTorch中，Tensor是核心数据结构，用于表示多维数组，广泛应用于深度学习模型的构建和训练。维度变换是处理和操作Tensor时的重要环节，因为它允许我们以不同的方式组织和操纵数据，以适应各种计算需求。以下将...
PyTorch中Tensor的数据统计示例
09-17
今天小编就为大家分享一篇PyTorch中Tensor的数据统计示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
对Pytorch中Tensor的各种池化操作解析
09-18
在PyTorch中，Tensor是核心数据结构之一，用于存储和处理数值数据。池化操作是深度学习模型中常见的组成部分，特别是在卷积神经网络（CNN）中，它用于降低特征图的尺寸，提取主要特征并减少计算量。本文将详细解析...
pytorch中tensor的合并与截取方法
09-20
今天小编就为大家分享一篇pytorch中tensor的合并与截取方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch_lesson1 张量的创建和常用方法
weixin_51589123的博客
04-22 2539
神经网络兴起的三驾马车：算法、算例和数据
torchsparse：用于点云处理的高性能神经网络库
02-23
火炬稀疏 消息 2020/09/20：我们发布了torchsparse v1.1，该版本明显快于我们的torchsparse v1.0，并且在运行MinkUNet18C时，其速度比 v0.5 alpha快1.9倍！ 2020/08/30：我们发布了torchsparse v1.0。 概述 我们发布了torchsparse ，这是一个用于高效3D稀疏卷积的高性能计算库。 该库旨在加速3D稀疏计算，尤其是稀疏卷积运算。 该库的主要优点是我们支持GPU上的所有计算，尤其是内核映射构造（这是在最新的 V0.4.3中的CPU上完成的）。 安装 您可以运行以下命令来安装torchsparse。 pip install --upgrade git+https://github.com/mit-han-lab/torchsparse.git 请注意，该库取决于Google的。 为了安装该库，您可以
PyTorch框架学习二——基本数据结构（张量）
qq_40467656的博客
08-05 833
PyTorch框架学习二——基本数据结构（张量）一、什么是张量？二、Tensor与Variable（PyTorch中）1.Variable 一、什么是张量？ 先来看一些数学上常见的名词： 标量：0维张量 向量：1维张量 矩阵：2维张量 所以，张量（Tensor）是一个多维数组，是上述提及的标量、向量和矩阵的高维拓展。 二、Tensor与Variable（PyTorch中） Variable是PyTorch 0.4.0之前的一种数据类型，PyTorch 0.4.0开始，Variable已经并入了Tensor，
机器学习笔记7——张量与数据类型
qq_39697468的博客
05-18 611
张量（Tensor） Pytorch最基本的操作对象是Tensor（张量），它表示一个多维矩阵，张量类似于NumPy的ndarrays，张量可以在GPU上使用以加速计算。 构造一个随机初始化的矩阵: torch.rand; 全 0 矩阵： torch.zeros; 全 0 矩阵： torch.ones; 直接从数据构造张量: torch.tensor; • 32位浮点型：torch.float32 • 64位浮点型：torch.float64 • 32位整型： torch.int32 • 16位整型：
人工智能的基石——张量的介绍与应用
最新发布
第欧根尼的酒桶的博客
02-11 1664
就像 Python 中的数组和矩阵一样，张量是人工智能中的基本数据结构，提供了在模型中存储输入和输出数据的方法。从技术的角度来看，张量可以根据它们所代表的数据在维数上变化。例如，一个单一的标量值被认为是一个零维张量，而一个值数组被认为是一个一维张量。更复杂的数据，如图像或视频帧，存储为高维张量，从而能够有效地处理大型数据集。张量表示一种结构化的格式，用于组织神经网络操作所必需的信息。无论是在神经网络中表示输入数据、权值还是偏差，张量都为处理各种形式的数据提供了通用的框架。
深度学习中张量的通俗理解及张量的创建
comli_cn的博客
02-24 2973
1.深度学习中张量的作用 深度学习中张量主要是为了便于用数字来描述一个对象，比方说要描述一张彩色图片，我们可以用(长，宽，颜色)来描述，所以描述一张彩色图片就需要用到三维张量，如果我们要描述一个彩色图片的集合那么就要就需要用(图片序号，长，宽，颜色)来描述，所以描述一个彩色图片的集合就需要用到四维张量。 2.深度学习中张量的表达形式 0维张量：[1] 0维张量就是一个标量，说白了就是一个数字。 ...
Tensorflow2.0学习笔记-创建张量
weixin_43115631的博客
12-21 192
创建张量 使用constant创建张量 # 使用constant函数创建张量 # 其中[1，5]表示张量内容，dtype表示数据类型 a = tf.constant([1, 5], dtype=tf.int32) # 输出a，a的数据类型，a的形状 print(a) print(a.dtype) print(a.shape) # 输出结果 tf.Tensor([1 5], shape=(2,), dtype=int32) <dtype: 'int32'> (2,) 使用convert_to
机器学习的数据结构——张量（详细介绍及Python中对张量的操作）
sjjsaaaa的博客
04-20 1万+
张量 一、张量的轴、阶和形状 张量是机器学习程序中的数字容器，本质上就是各种不同维度的数组，我们把张量的维度称为轴（axis），轴的个数称为阶（rank）（也就是俗称的维度，但是为了把张量的维度和每个阶的具体维度区分开，这里统一把张量的维度称为正脸那个的阶，Numpy中把它叫做数组的秩） 张量的形状（shape）就是张量的阶，加上每个阶的维度（每个阶的元素数目） 张量都可以通过Numpy来定义、操作。因此把Numpy数学函数库里面的数组用好，就可以搞定机器学习里面的数据结构。 二、标量——0D（阶）张量 仅
pytorch学习笔记-张量(Tensor)操作
qq_41399333的博客
01-09 721
pytorch学习笔记-张量(Tensor)操作 张量是深度学习中必不可少的内容，虽然十分基础但是在整个深度学习中每个地方都会涉及到，下面从创建、运算、广播以及转换等方面记录一下学习心得，学习过程中参考了动手学深度学习(pytorch版本)和pytorch官方文档。 导入包:import torch 创建Tensor torch.empty(5, 3) #创建一个5*3的张量，并不进行初始化 torch.rand(5, 3) #创建一个5*3的张量，并随机初始化 torch.zeros(5, 3, dtyp
torch.from_numpy()
热门推荐
weixin_36670529的博客
04-01 2万+
简单说一下，就是torch.from_numpy()方法把数组转换成张量，且二者共享内存，对张量进行修改比如重新赋值，那么原始数组也会相应发生改变。 Example: >>> a = numpy.array([1, 2, 3]) >>> t = torch.from_numpy(a) >>> t tensor([ 1, 2, 3]) >>> t[0] = -1 >>> a array([-1, 2, 3]) .
pytorch中TENSOR VIEWS介绍
05-26
2. 使用Tensor的narrow方法创建一个窄Tensor，它与原始Tensor共享内存，但是只包含原始Tensor中的一个子集。 3. 使用Tensor的select方法创建一个select Tensor，它与原始Tensor共享内存，但是只包含原始Tensor中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值