PyTorch使用------张量的创建和数值计算

已于 2024-09-03 09:39:50 修改
阅读量1.1k 收藏 25
点赞数 36
文章标签： 深度学习 pytorch 人工智能 python
于 2024-08-17 12:59:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76820214/article/details/141279006
版权

 

目录

1. 张量的创建

1.1 张量的基本概念

1.2 张量的基本创建

1.3 创建线性和随机张量

1.4 创建全01张量

1.5 张量的类型转换

1.6 小节

2. 张量的数值计算

2.1 张量基本运算

2.2 阿达玛积

2.3 点积运算

2.4 指定设备运算

2.5 小节

 

前言

PyTorch 是一个 Python 深度学习框架，学习PyTorch在当今深度学习领域至关重要。PyTorch以其动态计算图、易于使用的API和强大的社区支持，成为科研人员、数据科学家及工程师的首选框架。它不仅简化了模型设计、训练与部署流程，还极大地提高了实验效率和创新能力。掌握PyTorch，能够加速科研进度，促进项目落地，是在AI时代保持竞争力的关键技能之一。满满的都是干货，希望能帮助到大家！

1. 张量的创建

 

1.1 张量的基本概念

 

  1. PyTorch 是一个 Python 深度学习框架，它将数据封装成张量（Tensor）来进行运算。

  2. PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。

  3. PyTorch 中，张量以 "类" 的形式封装起来，对张量的一些运算、处理的方法被封装在类中。

 

 

1.2 张量的基本创建

 

  1. torch.tensor 根据指定数据创建张量

  2. torch.Tensor 根据形状创建张量, 其也可用来创建指定数据的张量

  3. torch.IntTensor、torch.FloatTensor、torch.DoubleTensor 创建指定类型的张量

 

import torch
import numpy as np
​
​
# 1. 根据已有的数据创建张量
def test01():
​
    # 1.1 创建标量
    data = torch.tensor(10)
    print(data)
​
    # 1.2 使用numpy数组来创建张量
    data = np.random.randn(2, 3)
    data = torch.tensor(data)
    print(data)
​
    # 1.3 使用list列表创建张量
    data = [[10., 20., 30.], [40., 50., 60.]]
    data = torch.tensor(data)
    print(data)
​
​
# 2. 创建指定形状的张量
def test02():
​
    # 2.1 创建2行3列的张量
    data = torch.Tensor(2, 3)
    print(data)
​
    # 2.2 可以创建指定值的张量
    # 注意: 传递列表
    data = torch.Tensor([2, 3])
    print(data)
​
    data = torch.Tensor([10])
    print(data)
​
​
# 3. 创建指定类型的张量
def test03():
​
    # 前面创建的张量都是使用默认类型或者元素类型
    # 创建一个 int32 类型的张量
    data = torch.IntTensor(2, 3)
    print(data)
​
    # torch.ShortTensor(2, 3)  # 表示创建的是 int16 张量
    # torch.LongTensor(2, 3)  # 表示创建的是 int32 张量
    # torch.FloatTensor(2, 3)  # 表示创建的是 float32 张量
​
​
    # 注意: 如果创建指定类型的张量，但是传递的数据不匹配，会发生类型转换
    data = torch.IntTensor([2.5, 3.5])
    print(data)
​
​
if __name__ == '__main__':
    test03()

 

 

1.3 创建线性和随机张量

 

  1. torch.arange 和 torch.linspace 创建线性张量

  2. torch.random.init_seed 和 torch.random.manual_seed 随机种子设置

  3. torch.randn 创建随机张量

 

import torch
​
​
# 1. 创建线性张量
def test01():
​
    # 1.1 创建指定步长的张量
    # 第一参数: 开始值
    # 第二参数: 结束值
    # 第三参数: 步长
    data = torch.arange(0, 10, 2)
    print(data)
​
    # 1.2 在指定区间指定元素个数
    # 第一个参数: 开始值
    # 第二个参数: 结束值
    # 第三个参数: 创建元素的个数
    data = torch.linspace(0, 11, 10)
    print(data)
    
​
# 2. 创建随机张量
def test02():
​
    # 固定随机数种子
    torch.random.manual_seed(0)
    
    # 2.1 创建随机张量
    data = torch.randn(2, 3)
    print(data)
​
    # 2.2 希望能够固定随机数
    print('随机数种子:', torch.random.initial_seed())
​
​
if __name__ == '__main__':
    test02()

 

 

1.4 创建全01张量

 

  1. torch.ones 和 torch.ones_like 创建全1张量

  2. torch.zeros 和 torch.zeros_like 创建全0张量

  3. torch.full 和 torch.full_like 创建全为指定值张量

 

import torch
​
​
# 1. 创建全为0的张量
def test01():
​
    # 1.1 创建指定形状全为0的张量
    data = torch.zeros(2, 3)
    print(data)
​
    # 1.2 根据其他张量的形状去创建全0张量
    data = torch.zeros_like(data)
    print(data)
​
​
# 2. 创建全为1的张量
def test02():
​
    # 2.1 创建指定形状全为1的张量
    data = torch.ones(2, 3)
    print(data)
​
    # 2.2 根据其他张量的形状去创建全1张量
    data = torch.ones_like(data)
    print(data)
​
​
# 3. 创建全为指定值的张量
def test03():
​
    # 3.1 创建形状为2行3列，值全部为10的张量
    data = torch.full([2, 3], 100)
    print(data)
​
    # 3.2 创建一个形状和data一样，但是值全部为200的张量
    data = torch.full_like(data, 200)
    print(data)
​
​
if __name__ == '__main__':
    test03()

 

 

1.5 张量的类型转换

  1. tensor.type(torch.DoubleTensor)

  2. torch.double()

 

import torch
​
​
# 1. type 函数进行转换
def test01():
​
    data = torch.full([2, 3], 10)
    print(data.dtype)
​
    # 注意: 返回一个新的类型转换过的张量
    data = data.type(torch.DoubleTensor)
    print(data.dtype)
​
​
# 2. 使用具体类型函数进行转换
def test02():
​
    data = torch.full([2, 3], 10)
    print(data.dtype)
​
    # 转换成 float64 类型
    data = data.double()
    print(data.dtype)
​
    data = data.short()   # 将张量元素转换为 int16 类型
    data = data.int()   # 将张量转换为 int32 类型
    data = data.long()  # 将张量转换为 int64 类型
    data = data.float()  # 将张量转换为 float32
​
​
if __name__ == '__main__':
    test02()

 

 

1.6 小节

 

在本小节中，我们主要学习了以下内容：

  1. 创建张量的方式

    1. torch.tensor 根据指定数据创建张量

    2. torch.Tensor 根据形状创建张量, 其也可用来创建指定数据的张量

    3. torch.IntTensor、torch.FloatTensor、torch.DoubleTensor 创建指定类型的张量

  2. 创建线性和随机张量

    1. torch.arange 和 torch.linspace 创建线性张量

    2. torch.random.init_seed 和 torch.random.manual_seed 随机种子设置

    3. torch.randn 创建随机张量

  3. 创建01张量

    1. torch.ones 和 torch.ones_like 创建全1张量

    2. torch.zeros 和 torch.zeros_like 创建全0张量

    3. torch.full 和 torch.full_like 创建全为指定值张量

  4. 张量元素类型转换

    1. tensor.type(torch.DoubleTensor)

    2. torch.double()

2. 张量的数值计算

2.1 张量基本运算

 

基本运算中，包括 add、sub、mul、div、neg 等函数, 以及这些函数的带下划线的版本 add_、sub_、mul_、div_、neg_，其中带下划线的版本为修改原数据。

 

import torch
​
​
# 1. 不修改原数据的计算
def test01():
​
    # 第一个参数: 开始值
    # 第二个参数: 结束值
    # 第三个参数: 形状
    data = torch.randint(0, 10, [2, 3])
    print(data)
​
    # 计算完成之后，会返回一个新的张量
    data = data.add(10)
    print(data)
​
    # data.sub()  # 减法
    # data.mul()  # 乘法
    # data.div()  # 除法
    # data.neg()  # 取相反数
​
​
# 2. 修改原数据的计算(inplace方式的计算)
def test02():
​
    data = torch.randint(0, 10, [2, 3])
    print(data)
​
    # 带下划线的版本的函数直接修改原数据，不需要用新的变量保存
    data.add_(10)
    print(data)
​
    # data.sub_()  # 减法
    # data.mul_()  # 乘法
    # data.div_()  # 除法
    # data.neg_()  # 取相反数
​
​
if __name__ == '__main__':
    test02()

 

 

2.2 阿达玛积

 

阿达玛积指的是矩阵对应位置的元素相乘. 可以使用乘号运算符、也可以使用 mul 函数来完成计算。

 

import torch
​
​
# 1. 使用 mul 函数
def test01():
​
    data1 = torch.tensor([[1, 2], [3, 4]])
    data2 = torch.tensor([[5, 6], [7, 8]])
​
    data = data1.mul(data2)
    print(data)
​
​
# 2. 使用 * 号运算符
def test02():
​
    data1 = torch.tensor([[1, 2], [3, 4]])
    data2 = torch.tensor([[5, 6], [7, 8]])
​
    data = data1 * data2
    print(data)
​
​
if __name__ == '__main__':
    test01()
    test02()

 

2.3 点积运算

 

点积运算要求第一个矩阵 shape: (n, m)，第二个矩阵 shape: (m, p), 两个矩阵点积运算 shape 为: (n, p)。

  1. 运算符 @ 用于进行两个矩阵的点乘运算

  2. torch.mm 用于进行两个矩阵点乘运算, 要求输入的矩阵为2维

  3. torch.bmm 用于批量进行矩阵点乘运算, 要求输入的矩阵为3维

  4. torch.matmul 对进行点乘运算的两矩阵形状没有限定.

    1. 对于输入都是二维的张量相当于 mm 运算.

    2. 对于输入都是三维的张量相当于 bmm 运算

    3. 对数输入的 shape 不同的张量, 对应的最后几个维度必须符合矩阵运算规则

 

import torch
​
​
# 1. 使用 @ 运算符
def test01():
​
    # 形状为: 3行2列
    data1 = torch.tensor([[1, 2],
                          [3, 4],
                          [5, 6]])
    # 形状为: 2行2列
    data2 = torch.tensor([[5, 6],
                          [7, 8]])
    data = data1 @ data2
    print(data)
​
​
# 2. 使用 mm 函数
def test02():
​
    # 要求输入的张量形状都是二维
    # 形状为: 3行2列
    data1 = torch.tensor([[1, 2],
                          [3, 4],
                          [5, 6]])
    # 形状为: 2行2列
    data2 = torch.tensor([[5, 6],
                          [7, 8]])
​
    data = torch.mm(data1, data2)
    print(data)
​
​
# 3. 使用 bmm 函数
def test03():
​
    # 第一个维度: 表示批次
    # 第二个维度: 多少行
    # 第三个维度: 多少列
    data1 = torch.randn(3, 4, 5)
    data2 = torch.randn(3, 5, 8)
    
    data = torch.bmm(data1, data2)
    print(data.shape)
​
​
# 4. 使用 matmul 函数
def test04():
​
    # 对二维进行计算
    data1 = torch.randn(4, 5)
    data2 = torch.randn(5, 8)
    print(torch.matmul(data1, data2).shape)
    
    # 对三维进行计算
    data1 = torch.randn(3, 4, 5)
    data2 = torch.randn(3, 5, 8)
    print(torch.matmul(data1, data2).shape)
​
    data1 = torch.randn(3, 4, 5)
    data2 = torch.randn(5, 8)
    print(torch.matmul(data1, data2).shape)
​
​
if __name__ == '__main__':
    test04()

 

 

 

2.4 指定设备运算

PyTorch 默认会将张量创建在 CPU 控制的内存中, 即: 默认的运算设备为 CPU。我们也可以将张量创建在 GPU 上, 能够利用对于矩阵计算的优势加快模型训练。将张量移动到 GPU 上有两种方法:

  1. 使用 cuda 方法

  2. 直接在 GPU 上创建张量

  3. 使用 to 方法指定设备

 

import torch
​
​
# 1. 使用 cuda 方法
def test01():
​
    data = torch.tensor([10, 20, 30])
    print('存储设备:', data.device)
​
    # 将张量移动到 GPU 设备上
    data = data.cuda()
    print('存储设备:', data.device)
​
    # 将张量从GPU再移动到CPU
    data = data.cpu()
    print('存储设备:', data.device)
​
​
# 2. 直接将张量创建在指定设备上
def test02():
​
    data = torch.tensor([10, 20, 30], device='cuda:0')
    print('存储设备:', data.device)
​
    # 把张量移动到cpu设备上
    data = data.cpu()
    print('存储设备:', data.device)
​
​
# 3. 使用 to 方法
def test03():
​
    data = torch.tensor([10, 20, 30])
    print('存储设备:', data.device)
​
    # 使用 to 方法移动张量到指定设备
    data = data.to('cuda:0')
    print('存储设备:', data.device)
​
​
​
# 4. 注意: 存储在不同设备上的张量不能够直接运算
def test04():
​
    data1 = torch.tensor([10, 20, 30])
    data2 = torch.tensor([10, 20, 30], device='cuda:0')
​
    # RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!
    # 下面代码会报错
​
    # 如果你的电脑上安装 pytorch 不是 gpu 版本的，或者电脑本身没有 gpu (nvidia)设备环境
    # 否则下面的调用 cuda 函数的代码会报错
    data1 = data1.cuda()
​
    data = data1 + data2
    print(data)
​
​
if __name__ == '__main__':
    test04()

 

 

2.5 小节

 

在本小节中，我们主要学习的主要内容如下:

  1. 张量基本运算函数 add、sub、mul、div、neg 等函数, add、sub、mul、div、neg_ 等 inplace 函数

  2. 张量的阿达玛积运算 mul 和运算符 * 的用法

  3. 点积运算:

    1. 运算符 @ 用于进行两个矩阵的点乘运算

    2. torch.mm 用于进行两个矩阵点乘运算, 要求输入的矩阵为2维

    3. torch.bmm 用于批量进行矩阵点乘运算, 要求输入的矩阵为3维

    4. torch.matmul 对进行点乘运算的两矩阵形状没有限定.

      1. 对于输入都是二维的张量相当于 mm 运算.

      2. 对于输入都是三维的张量相当于 bmm 运算

      3. 对数输入的 shape 不同的张量, 对应的最后几个维度必须符合矩阵运算规则

  4. 将变量移动到 GPU 设备的方法，例如: cuda 方法、直接在 GPU 上创建张量、使用 to 方法指定设备

 

小言从不摸鱼
关注
Pytorch快速入门系列---（一）张量及运算
qq_42681787的博客
03-06 3409
在上面的例子中，我们演示了如何调用pytorch中的函数查看、修改默认数据类型，但是这种修改是全局的，如何我们想要把一个张量a（32位浮点型）转换为16位有符号整型但是又不影响其他张量的数据类型怎么办呢？我们接着看下面一个例子。torch.sort()函数：对一维张量进行排序，或者对高维张量在指定的维度进行排序，在输出排序结果的同时，还会输出对应的值在原始位置的索引。张量计算主要包括张量之间的大小比较、张量的基本运算（元素之间的运算和矩阵之间的运算）、张量与统计相关的运算（排序、最大值、最小值）
pytorch——构建张量
dingning12469的博客
12-02 62
n维数组也称张量tensor。深度学习框架的张量类与Numpy计算包的ndarray相类似，但张量可以使用GPU加速计算且支持自动微分，这些功能使得张量类更适合深度学习。
PyTorch张量
WhChina001的博客
12-17 665
Pytorch关于张量的相关基础知识。
PyTorch 张量
Lilo_的博客
01-22 343
张量 张量是深度学习框架中最核心的组件，Tensor 实际上就是一个多维数组。 在PyTorch中，torch.Tensor 是存储和变换数据的主要工具。（与Numpy的多维数组类似） （一）创建张量 torch.Tensor torch.Tensor 默认张量类型为torch.FloatTensor import torch # 导入PyTorch 1. 根据现有数据创建张量 torch.tensor(data, *, dtype=None, device=None, requires_grad=Fa
pytorch -- 张量的创建
码农大大的博客
01-04 549
pytorch中，有4种创建张量的方式
PyTorch【2】PyTorch的张量
m0_63462829的博客
09-24 662
PyTorch张量的相关操作
PyTorch框架：张量的创建
qq_42372982的博客
08-20 188
张量-Tensor 张量介绍 Tensor and Variable Variable是torch.autograd中的数据类型，主用于封装Tensor，进行求导。 Variable的数据类型主要有：data(被包装的Tensor)、grad(data的梯度)、grad_fn(创建Tensor的Function，是自动求导的关键)、requires_grad(指示是否需要梯度)、is_leaf(是否是叶子结点也就是张量)。 PyTorch0.4版本开始，Variable并入TenTorch。TenTorch
03PyTorch入门-new1
08-03
在深度学习实践中，PyTorch的张量不仅提供了高效的数值计算，还支持自动求导（autograd），这是训练神经网络的关键特性。了解和熟练掌握张量的创建、操作和转换，是使用PyTorch进行深度学习的基础。
PyTorch-Course 代码+讲义+课件（B站最高播放量配套）
10-14
在课程中，你将学习如何利用Tensor进行数值计算，理解张量的基本操作，包括创建、加减乘除、形状变换等。此外，还将深入探讨自动梯度（Automatic Gradient）机制，这是训练神经网络的关键，PyTorch的autograd模块能...
python-pytorch-opencv-numpy入门程序实操
01-14
总的来说，这个入门程序涵盖了Python编程、深度学习（PyTorch）、数值计算（NumPy）和计算机视觉（OpenCV）的基础知识。通过这些实践操作，你将能够建立起对这些库的扎实理解，为后续的项目开发和研究打下坚实的基础...
Pytorch -入门之张量的创建和使用
seek0226的博客
09-03 525
Pytorch - 关于张量张量简介张量属性创建张量通过numpy数组创建通过数值创建通过概率创建张量运算 张量简介 张量（tensor）是一个多维数组，是标量，向量和矩阵的高维拓展。 张量属性 属性 意义 data 数据 dtype 数据类型 shape 形状 device 张量所在的设备，CPU/GPU grad 梯度 grad_fn 创建张量的function，是自动求导的关键 requires_grad 是否需要梯度 is_leaf 是否叶子节点 创建
深度学习（3）---PyTorch中的张量
m0_62881487的博客
10-04 1900
1. 张量是一个多维数组，它是标量、向量、矩阵的高维拓展。2. 在张量的定义中，方括号用于表示张量的形状。例如，定义了一个2x3的二维张量，其中方括号 [[…], […]] 表示该张量有2行3列。例如，定义了一个2x2x3的三维张量，其中方括号 [[[…, …], […, …]], [[…, …], […, …]]] 表示该张量有2个2x3的矩阵。3. PyTorch中的张量（Tensor）和数组（Array）之间存在一些关键区别。尽管它们在许多方面都很相似，但在一些重要的方面也有所不同。
PyTorch 实战-张量
TensorFlowNews
08-06 629
Numpy 是一个非常好的框架，但是不能用 GPU 来进行数据运算。 Numpy is a great framework, but it cannot utilize GPUs to accelerate its numerical computations. For modern deep neural networks, GPUs often provide speedup
Pytorch ：张量（Tensor）详解
最新发布
fydw_715的博客
08-29 1589
张量（Tensor）是深度学习和科学计算中的核心概念，表示多维数组，用于描述标量、向量、矩阵和高阶数据结构。张量支持各种数学运算和聚合操作，如加法、乘法、转置、求和、均值等。PyTorch 提供了多种创建张量的方法，包括从 Python 列表、元组和 NumPy 数组创建，以及生成随机数（均匀分布、正态分布等）。为了确保结果的可重复性，可以设置随机种子。张量还可以在不同设备（CPU、GPU）上进行计算，利用 GPU 加速深度学习模型的训练和推理。利用张量及其操作，深度学习框架（如 PyTorch）能够实现高
Pytorch 入门(2)-张量
chenvvei的博客
05-20 365
Pytorch 入门(2)–张量 文章目录初始化张量张量的属性张量运算与NumPy桥接张量到NumPy数组NumPy数组到张量总结 张量是一种特殊的数据结构，与数组和矩阵非常相似。在PyTorch中，我们使用张量对模型的输入和输出以及模型的参数进行编码。 张量类似于NumPy的ndarray，除了张量可以在GPU或其他硬件加速器上运行。实际上，张量和NumPy数组通常可以共享相同的基础内存，从而无需复制数据（请参见使用NumPy桥接）。张量也针对自动差异进行了优化（我们将在“ Autograd” 部分中对此
【PyTorch】PyTorch基础知识——张量
Katniss的Blog
09-13 2582
张量维度含义0维标量1维向量2维矩阵3维时间序列数据 股价 文本数据 单张彩色图片(RGB)3维 = 时间序列4维 = 图像5维 = 视频例如，一个图像可以用三个字段表示：但是，在机器学习工作中，我们经常要处理不止一张图片或一篇文档——我们要处理一个集合。我们可能有10,000张郁金香的图片，这意味着，我们将用到4D张量：在PyTorch中，是存储和变换数据的主要工具。
PyTorch中张量的创建方法
热门推荐
Sakura樱_子于的专栏
02-28 1万+
张量的概念   张量，即Tensor，是PyTorch的基本数据结构。在数学概念中，张量是一个多维数组，它是标量、向量、矩阵的高维拓展。 torch.Tensor中的属性： data: 被包装的Tensor grad: data的梯度 grad_fn: 创建Tensor的Function，如加法，乘法，这个操作在求导过程中需要用到，所以需要将其记录下来。 requires_grad: 指示是否需...
Pytorch创建张量与使用注意事项
ting_qifengl的博客
05-09 955
Pytorch创建张量的4种方法主要有：torch.Tensor()、torch.tensor()、torch.as_tensor()、torch.from_numpy()。具体使用方法如下方代码。其中torch.Tensor()是类构造函数，其余三种为工厂函数。工厂函数是指接受参数输入并返回特定类型对象的函数，其允许更多的动态对象创建，有更多的配置参数。通常情况下更倾向于选择工厂函数。
PyTorch张量详解：创建与属性
理解张量的创建和操作是使用PyTorch进行有效计算的基础。 张量的创建方法多种多样，包括但不限于以下几种： 1. 直接初始化：使用`torch.tensor()`函数，传入一个列表或numpy数组等数据源来创建张量。 2. 随机初始...
评论 38
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值