张量操作专题

已于 2023-07-05 11:06:52 修改
阅读量158 收藏
点赞数
分类专栏： # 深度学习+机器学习 文章标签： 张量 张量计算 向量计算
于 2023-06-28 16:24:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35653657/article/details/130379592
版权

1.Tensor(张量)介绍

1.1 Tensor（张量）的概念

张量是一个多维数组，它是表量，向量，矩阵的高维扩展。
在这里插入图片描述
举个栗子：
在这里插入图片描述

1.2 Tensor（张量）的属性

在这里插入图片描述

  • data:Tensor的值
  • dtype:Tensor的数据类型
  • shape:Tensor的形状
  • device:Tensor所在的设备（CPU/GPU）
  • requires_gard:是否需要梯度
  • grad:Tensor的梯度
  • grad_fn:创建Tensor
  • is_leaf:是否是叶子节点

举个栗子：
在这里插入图片描述
注意：关于Tensor的数据类型
9大数据类型，3大类：
在这里插入图片描述

2.张量的创建

2.1 方式一：利用torch.tensor()直接创建

torch.tensor(data,dtype=None,device=None,requires_gard=False,pin_memory=False)
  • data: 数据，如lis，numpy；
  • dtype：数据类型，默认与data一致；
  • device：所在设备，CPU、GPU；
  • requires_grad:是否需要梯度；
  • pin_memory:是否锁页面内存；

举个栗子
在这里插入图片描述

2.2 方式二：从numpy创建tensor

torch.from_numpy(ndarray)

从numpy创建tensor，此时ndarra与tensor共享内存，当修改其中的一个数据，另外一个也会被改动。
在这里插入图片描述
举个栗子：
在这里插入图片描述

2.3 方式三：根据数值创建tensor

在这里插入图片描述

2.3.1 根据size创建全0的张量

torch.zeros(size,out=None,dtype=None,device=None,requires_grad=False,layout=torch.strided)
  • size:张量的形状
  • out：输出的张量，如果指定，则返回的张量和out指向同一个地址；
  • dtype: 张量的数据类型;
  • device:所在设备，CPU/GPU;
  • requires_ grad:是否需要梯度;
  • layout:内存中布局形式;

举个栗子
在这里插入图片描述

2.3.2 根据input形状创建全0的张量

torch.zeros_like(input,dtype=None,device=None,requires_grad=False,layout=None)
  • input： 创建于input张量同形状的全0张量；
  • dtype：数据类型，默认与input张量的数据类型相同
  • device：所在设备，CPU/GPU;
  • requires_ grad:是否需要梯度;
  • layout:内存中布局形式;
    举个栗子：
    在这里插入图片描述

2.3.3 全1张量的创建

torch.ones(size,out=None,dtype=None,device=None，requires_grad=False)
# 或者
torch.one_like(input,dtype=None,device=None,require_grad=False)

2.3.4 根据size创建自定义数值的张量

torch.full(size,fill_vlaue,out=None,dtype=None,device=None，require_grad=False)
  • input： 创建于input张量同形状的全0张量；
  • fill_value:自定义的数值
  • out：输出的张量，如果指定，则返回的张量和out指向同一个地址
  • dtype：数据类型，默认与input张量的数据类型相同
  • device：所在设备，CPU/GPU;
  • requires_ grad:是否需要梯度;

在这里插入图片描述

2.3.5 根据input形状创建自定义数值的张量

torch.full_like(input,fill_value,dtype=None,device=None,requires_grad=False)
  • input: 创建 与input张量同形状的自定义数值的张量;
  • fill _value:自定义的数值;
  • dtype: 数据类型，默认与input张量的数据类型相同;
  • device:所在设备，CPU/GPU;
  • requires_ grad:是否需要梯度;

举个栗子：
在这里插入图片描述

2.3.6 创建等差1维张量，[start,end]

torch.arange(start=0,end,step=1,out=None,dtype=None,device=None,requires_grad=False)
  • start:起始值 ;
  • end:结束值(取不到);
  • step:公差(步长), 默认为1;
  • out:输出的张量， 如果指定，则返回的张量和out指向同-一个地址
  • dtype:张量的数据类型;
  • device:所在设备，CPU/GPU;
  • requires_ grad: 是否需要梯度 ;

举个栗子：
在这里插入图片描述

3.3.6 创建单位对角矩阵，默认是方阵

torch.eye(n,m=None,out=None,dtype=None,device=None,requires_grad=False)
  • n: 矩阵行数（通常只设置n，结果为nxn的方阵）；
  • m: 矩阵列数;

举个栗子：
在这里插入图片描述

2.4 根据概率创建Tensor

在这里插入图片描述

2.4.1 生成正态分布

x=torch.normal(mean,std,size)
  • mean: 均值；
  • std: 标准差;
  • size:形状

举个栗子
在这里插入图片描述

2.4.2 生成标准正态分布（均值为0，标准差为1）

torch.randn(size,out=None，dtype=None，device=None,requires_grad=False)
  • size: 张量的形状；
  • out: 输出的张量，如果指定，则返回的张量和out指向同一个地址；
  • dtype: 张量的数据类型；
  • device: 所在设备，CPU/GPU；
  • requires_grad: 是否需要梯度；

举个栗子：
在这里插入图片描述

2.4.3 生成[0,1)上的均匀分布

torch.rand(size,out=None，dtype=None，device=None，requires_grad=False)
  • size: 张量的形状；
  • out: 输出的张量，如果指定，则返回的张量和out指向同一个地址；
  • dtype: 张量的数据类型；
  • device: 所在设备，CPU/GPU；
  • requires_grad: 是否需要梯度；

举个栗子：
在这里插入图片描述

2.4.4 生成[low,high)上的均匀分布

torch.randint(low=0,high,size,out=None,dtype=None,device=None,requires_grad=False)
  • low: 区间下限；
  • high: 区间上限；
  • size: 张量的形状；
  • out: 输出的张量，如果指定，则返回的张量和out指向同一个地址；
  • dtype: 张量的数据类型；
  • device: 所在设备，CPU/GPU；
  • requires_grad: 是否需要梯度；

举个栗子：
在这里插入图片描述

2.4.5 打乱0~n-1，生成n个数的随机排列（常用于生成索引）

troch.randperm(n,out=None，dtype=None,device=None,requires_grad=False)

n: 张量的长度
out: 输出的张量，如果指定，则返回的张量和out指向同一个地址；
dtype: 张量的数据类型；
device: 所在设备，CPU/GPU；
requires_grad: 是否需要梯度；

举个栗子：
在这里插入图片描述

2.4.6 生成伯努利分布（0-1分布）

在这里插入图片描述

torch.bernoulli(input,out=None)
  • input: 出现1的概率值，必须为张量；
  • out: 输出的张量，如果指定，则返回的张量和out指向同一个地址；

举个栗子：
在这里插入图片描述

3.张量的操作

在这里插入图片描述

3.1 拼接

3.1.1 torch.cat()

将张量按照dim维度进行拼接

torch.cat(tensors,dim=0,out=None)
  • tensors:待拼接的张量序列
  • dim：要拼接的维度
  • out：输出的张量，如果指定，则返回的张量和out指向同一个地址；
    在这里插入图片描述
    举个栗子：
    在这里插入图片描述

3.1.2 torch.stack()

将张量在新创建的dim维度上进行拼接

torch.stack(tensors,dim=0,out=None)
  • tensors:待拼接的张量序号
  • dim： 要拼接的维度
  • out： 输出的张量，如果指定，则返回的张量和out指向同一个地址；
    在这里插入图片描述
    举个栗子：
    在这里插入图片描述

3.2切分

3.2.1 torch.chunk()

将张量按照dim维度进行平均切分，若不能整除，则最后一份张量小于其他张量。

torch.chunk(input,chunks,dim=0)
  • input：待切分的张量；
  • chunks：切分的份数；
  • dim：切分的维度；
    在这里插入图片描述
    举个栗子：
    在这里插入图片描述
    在这里插入图片描述

3.2.2 torch.split()

将张量按照dim维度进行平均切分，可以指定每一个分量的长度

torch.split(input,split_size_or_sections,dim=0)
  • input：待切分的张量；
  • split_size_or_sections：若为int，表示每一个分量的长度；若为list，按照list元素给分量分配长度；
  • dim：切分的维度；
    在这里插入图片描述
    举个栗子：
    在这里插入图片描述

3.3 索引

3.3.1 torch.index_select()

在dim维度上，按照index索引提取数据

torch.index_select(input,dim,index)
  • input：要索引的张量；
  • dim：要索引的维度；
  • index：要索引的序号，为张量；
    在这里插入图片描述
    举个栗子：
    在这里插入图片描述

3.3.2 torch.mask_select()

torch.masked_select(input,mask)
  • input：要索引的张量；
  • mask：与input同形状的元素为布尔类型的张量；
    在这里插入图片描述
    举个栗子：
    在这里插入图片描述

3.3.3 torch.gather

torch.gather(input,index_tensor)

当是一个多维张量的时候，需要对其他维度进行过滤数据。
举个例子：
我有一个510的二维张量，有一个52的索引张量，然后根据索引张量对第一个二维张量进行过滤。

	tensor=torch.randn(5,10)
    index_tensor=torch.tensor([[0,1],[4,6],[2,8],[2,5],[0,7]])
    filter_tensor=torch.gather(tensor,1,index_tensor)

输出结果：

tensor张量的value:
tensor([
[ 0.2962, -0.6312,  1.9905, -0.6701,  0.7903, -0.3884, -1.2570, -0.3893,-1.2469,  0.9444],
[-0.3355,  2.4038,  1.3065, -0.4189,  0.3941, -1.9919, -0.7030, -0.1080,-0.4161,  0.4711],
[-0.1550, -0.5828,  0.5407,  0.5705,  0.2898, -1.5406,  0.7004, -0.0204,-0.0164, -0.8491],
[ 0.0629, -1.2698, -2.4622,  0.6581,  1.1167,  0.5098, -0.3765,  0.7491,-1.7872, -1.1361],
[ 0.0255,  0.1839,  0.6344,  0.6063,  0.3264, -0.0668, -0.1057,  0.2875,-0.6241,  0.7373]])
index_tensor张量的value：
tensor([[0, 1],
        [4, 6],
        [2, 8],
        [2, 5],
        [0, 7]])
filter_tensor张量的value：   
tensor([[ 0.2962, -0.6312],
        [ 0.3941, -0.7030],
        [ 0.5407, -0.0164],
        [-2.4622,  0.5098],
        [ 0.0255,  0.2875]])

3.4 变换

3.4.1 torch.reshape()

变换张量的形状；当张量在内存中是连续时，返回的张量和原来的张量共享数据内存，改变其中一个张量时，另一个张量也会改变。

torch.reshape(input,shape)
  • input：要变换的张量
  • shape：要变换的形状
    在这里插入图片描述
    举个栗子：
    在这里插入图片描述

注意：tensor的属性包括：data，dtype，shape，device，requires_grad,grad;grad_fn和is_leaf等；
经过reshape变换后的t2与t共享data属性，即两者的data属性地址相同；但是t2与t不属于同一个tensor，两者的地址不相同。
在这里插入图片描述

3.4.2 torch.transpose()

变换张量的两个维度；如：CHW — HWC

torch.transpose(input,dim0,dim1)
  • input：要变换的张量
  • dim0：要交换的第一个维度
  • dim1：要交换的第二个维度
    在这里插入图片描述

3.4.3 torch.t()

对2维张量转置。

torch.t(input)
  • input：要变换的张量
  • dim0：要交换的第一维度

在这里插入图片描述
举个栗子：
在这里插入图片描述
注意：
torch.t (input) 与 torch.transpose (input,dim0=0,dim1=1)等价。

3.4.4 torch.sequeeze()

压缩长度为1的维度。

 torch.sequeeze(input,dim=None)
  • input：要变换的张量
  • dim：若为None，则移除所有长度为1的维度；若指定，则当且仅当该维度长度为1时可以移除；

举个栗子：
在这里插入图片描述

3.4.5 torch.unsequeeze()

根据dim扩展维度，长度为1。

torch.unsequeeze（input，dim）
  • input：要变换的张量
  • dim：指定要扩展的维度
    举个栗子：
    在这里插入图片描述
Alan and fish
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【深度学习】张量的广播专题
gongdiwudu的专栏
07-17 4344
张量广播（tensor broadcasting）是一种将低维张量自动转化为高维张量的技术，使得张量之间可以进行基于元素的运算（如加、减、乘等）。在进行张量广播时，会将维度数较少的张量沿着长度为1的轴进行复制，在匹配维度后，两个张量就可以进行运算。
pytorch：Model模块专题
gongdiwudu的专栏
10-27 2538
关于pytorch使用中，模块扮演重要校色，大部分功能不能密集展现，因此，我们这个文章中，将模块的种种功能详细演示一遍。
张量模型并行详解 | 深度学习分布式训练专题
PaddlePaddle
04-29 3662
随着模型规模的扩大，单卡显存容量无法满足大规模模型训练的需求。张量模型并行是解决该问题的一种有效手段。本文以Transformer结构为例，介绍张量模型并行的基本原理。模型并行的动机和现状我们在上一篇《数据并行：提升训练吞吐的高效方法|深度学习分布式训练专题》详细介绍了利用数据并行进行大规模分布式训练。读者不禁要问：仅仅使用数据并行，是否可以完全满足大模型训练的要求？随着...
Pytorch 7 种 Tensor 张量运算
idol24的博客
11-04 604
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！作者 | 秦一@知乎编辑 | 极市平台来源 | https://zhuanlan.zhihu.com/p/39935...
深度学习基本概念｜张量tensor
庐州月光的博客
05-31 1519
欢迎关注”生信修炼手册”!深度学习常用于处理图像，文本，语音等数据，在计算机中，需要将这些数据用合适的数据结构来存储。以图像为例，每一幅图像可以看作由像素点构成的二维数组，而每个像素点又可...
张量，梯度，链式法则的基本概念
qq_46348508的博客
12-08 1039
张量是一种多维数组，支持在GPU上进行计算，是计算图中的节点，并且支持自动微分。
理论力学专题：刚体
Chandler_river的博客
05-25 1865
理论力学专题：刚体
【10大专题，2.8w字详解】：从张量开始到GPT的《动手学深度学习》要点笔记
qq_46348508的博客
12-18 1461
🚀📘🎯 专注于查漏补缺、巩固基础，这份笔记将带你深入理解深度学习的核心概念。通过一系列精心整理的小专题，逐步构建起你的AI知识框架。🧠 从最基础的张量操作，到最新的GPT模型，每个专题都配备了直观的图示和详细的公式解析。📚 初版笔记以《动手学深度学习PyTorch版》书籍为基准，随后将根据视频讲解和最新论文研读内容进行实时更新。📈 所有专题都配备了精美的图表和公式推导。除非另有说明，所有图示均源自《动手学深度学习PyTorch版》官方PDF书籍。
基于论文分析Google的张量处理器TPU
荡哥的博客
05-03 4120
2017年度的国际计算机体系结构年会（ISAC-2017）尚在投稿阶段时，类似“Google将公布其张量处理器的细节”的小道消息就在不停发酵。几天前，即2017年4月6日，Google在自家网站上公开了论文初稿，让大众可以在会议之前提前了解其中细节。由此Google、TPU和NN加速又再次成为热门话题。
pytorch张量创建与操作
01-20
张量创建 1. 直接创建 1.1 torch.tensor() 1.2 torch.from_numpy(ndarray) #从numpy创建tensor， 与原ndarray共享内存 2. 通过数值创建 2.1 torch.zeros() torch.zeros_like() torch.ones() torch.ones_like() ...
张量
01-06
在这里我们有一个协变张量和逆变张量。 我看了下，逆变是出自于对偶，满足了基矢量A1和矢量B1的乘是单位矩阵。故此，A1和B1称为逆变基底。 而协变是，通过坐标平移变换，对应的矢量的变换矩阵。 之间又有什么联
PyTorch张量与操作1
08-03
下面我们将深入探讨PyTorch张量的创建、操作以及与Numpy数组的转换。 首先，我们来看如何创建PyTorch张量： 1. `torch.empty()`：这个函数用于创建一个未初始化的张量，即其元素值随机分布，通常不建议用于数值...
mindspore 张量tensor
06-21
mindspore 张量tensor
tensorflow实现对张量数据的切片操作方式
09-18
今天小编就为大家分享一篇tensorflow实现对张量数据的切片操作方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
C#读取WinCC实时和归档数据
06-21
如何在 C#应用程序中读取 WinCC 变量归档数据，资源来自西门子官网
解放鼠标右键 chrome edge 浏览器 插件
06-21
解放鼠标右键 chrome edge 浏览器 插件 开启开发者模式,拖入扩展管理即可使用
Python实战示例自动办公-20 Python文本数据可视化之“词云”图.zip
06-21
自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图自动办公-20 Python文本数据可视化之“词云”图
Pygments-0.11-py2.5.egg
最新发布
06-21
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
pytorch张量操作
05-03
PyTorch中的张量操作可以分为以下几类： 1. 创建张量： ```python import torch # 创建一个大小为(3, 2)的张量 tensor1 = torch.tensor([[1, 2], [3, 4], [5, 6]]) print(tensor1) # 创建一个大小为(2, 2)的全0张量 tensor2 = torch.zeros((2, 2)) print(tensor2) # 创建一个大小为(2, 2)的全1张量 tensor3 = torch.ones((2, 2)) print(tensor3) # 创建一个大小为(3, 3)的随机张量 tensor4 = torch.rand((3, 3)) print(tensor4) ``` 2. 张量运算： ```python # 张量加法 tensor5 = torch.tensor([[1, 2], [3, 4]]) tensor6 = torch.tensor([[5, 6], [7, 8]]) tensor7 = tensor5 + tensor6 print(tensor7) # 张量乘法 tensor8 = torch.tensor([[1, 2], [3, 4]]) tensor9 = torch.tensor([[5, 6], [7, 8]]) tensor10 = torch.matmul(tensor8, tensor9) print(tensor10) # 张量求和 tensor11 = torch.tensor([[1, 2], [3, 4]]) tensor12 = torch.sum(tensor11) print(tensor12) # 张量转置 tensor13 = torch.tensor([[1, 2], [3, 4], [5, 6]]) tensor14 = torch.transpose(tensor13, 0, 1) print(tensor14) ``` 3. 索引和切片： ```python # 张量索引 tensor15 = torch.tensor([[1, 2], [3, 4]]) print(tensor15[0, 1]) # 张量切片 tensor16 = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(tensor16[:, 1]) ``` 4. 改变张量形状： ```python # 改变张量形状 tensor17 = torch.tensor([[1, 2], [3, 4], [5, 6]]) tensor18 = tensor17.view(2, 3) print(tensor18) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值