PyTorch使用------张量数值计算

已于 2024-09-26 13:32:33 修改
阅读量425 收藏 23
点赞数 20
文章标签： 机器学习 人工智能 深度学习 pytorch python
于 2024-09-26 13:29:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76820214/article/details/142445461
版权

目录

🍔 张量的基本运算

🍔 什么是阿达玛积

🍔 点积运算要求

1. 点积运算

 2. torch.mm 和 torch.matmull 的区别

3. torch.mm 函数的用法

🍔 指定运算设备

1. 使用 cuda 方法

2. 直接将张量创建在 GPU 上

3. 使用 to 方法

 4. 存储在不同设备的张量不能运算

🍔 小节

学习目标

🍀 掌握张量基本运算

🍀 掌握阿达玛积、点积运算

🍀 掌握PyTorch指定运算设备

PyTorch 计算的数据都是以张量形式存在, 我们需要掌握张量各种运算. 并且, 我们可以在 CPU 中运算, 也可以在 GPU 中运算.

🍔 张量的基本运算

基本运算中，包括 add、sub、mul、div、neg 等函数, 以及这些函数的带下划线的版本 add_、sub_、mul_、div_、neg_，其中带下划线的版本为修改原数据。

import numpy as np
import torch


def test():

    data = torch.randint(0, 10, [2, 3])
    print(data)
    print('-' * 50)

    # 1. 不修改原数据
    new_data = data.add(10)  # 等价 new_data = data + 10
    print(new_data)
    print('-' * 50)

    # 2. 直接修改原数据
    # 注意: 带下划线的函数为修改原数据本身
    data.add_(10)  # 等价 data += 10
    print(data)

    # 3. 其他函数
    print(data.sub(100))
    print(data.mul(100))
    print(data.div(100))
    print(data.neg())


if __name__ == '__main__':
    test()

程序输出结果:

tensor([[3, 7, 4],
        [0, 0, 6]])
--------------------------------------------------
tensor([[13, 17, 14],
        [10, 10, 16]])
--------------------------------------------------
tensor([[13, 17, 14],
        [10, 10, 16]])
tensor([[-87, -83, -86],
        [-90, -90, -84]])
tensor([[1300, 1700, 1400],
        [1000, 1000, 1600]])
tensor([[0.1300, 0.1700, 0.1400],
        [0.1000, 0.1000, 0.1600]])
tensor([[-13, -17, -14],
        [-10, -10, -16]])

🍔 什么是阿达玛积

阿达玛积指的是矩阵对应位置的元素相乘.

import numpy as np
import torch


def test():

    data1 = torch.tensor([[1, 2], [3, 4]])
    data2 = torch.tensor([[5, 6], [7, 8]])

    # 第一种方式
    data = torch.mul(data1, data2)
    print(data)
    print('-' * 50)

    # 第二种方式
    data = data1 * data2
    print(data)
    print('-' * 50)


if __name__ == '__main__':
    test()

程序输出结果:

tensor([[ 5, 12],
        [21, 32]])
--------------------------------------------------
tensor([[ 5, 12],
        [21, 32]])
--------------------------------------------------

🍔 点积运算要求

点积运算要求第一个矩阵 shape: (n, m)，第二个矩阵 shape: (m, p), 两个矩阵点积运算 shape 为: (n, p)。

  1. 运算符 @ 用于进行两个矩阵的点乘运算
  2. torch.mm 用于进行两个矩阵点乘运算, 要求输入的矩阵为2维
  3. torch.bmm 用于批量进行矩阵点乘运算, 要求输入的矩阵为3维
  4. torch.matmul 对进行点乘运算的两矩阵形状没有限定.
    1. 对于输入都是二维的张量相当于 mm 运算.
    2. 对于输入都是三维的张量相当于 bmm 运算
    3. 对数输入的 shape 不同的张量, 对应的最后几个维度必须符合矩阵运算规则
import numpy as np
import torch

1. 点积运算

def test01():

    data1 = torch.tensor([[1, 2], [3, 4], [5, 6]])
    data2 = torch.tensor([[5, 6], [7, 8]])

    # 第一种方式
    data = data1 @ data2
    print(data)
    print('-' * 50)

    # 第二种方式
    data = torch.mm(data1, data2)
    print(data)
    print('-' * 50)

    # 第三种方式
    data = torch.matmul(data1, data2)
    print(data)
    print('-' * 50)

 2. torch.mm 和 torch.matmull 的区别

def test02():

    # matmul 可以两个维度可以不同
    # 第一个张量: (3, 4, 5)
    # 第二个张量: (6, 4)
    # torch.mm 不可以相乘，而 matmul 则可以相乘

    print(torch.matmul(torch.randn(3, 4, 5), torch.randn(5, 4)).shape)
    print(torch.matmul(torch.randn(5, 4), torch.randn(3, 4, 5)).shape)

3. torch.mm 函数的用法

def test03():

    # 批量点积运算
    # 第一个维度为 batch_size
    # 矩阵的二三维要满足矩阵乘法规则

    data1 = torch.randn(3, 4, 5)
    data2 = torch.randn(3, 5, 8)

    data = torch.bmm(data1, data2)
    print(data.shape)


if __name__ == '__main__':
    test01()
    test02()
    test03()

程序输出结果:

tensor([[19, 22],
        [43, 50],
        [67, 78]])
--------------------------------------------------
tensor([[19, 22],
        [43, 50],
        [67, 78]])
--------------------------------------------------
tensor([[19, 22],
        [43, 50],
        [67, 78]])
--------------------------------------------------
torch.Size([3, 4, 4])
torch.Size([3, 5, 5])
torch.Size([3, 4, 8])

🍔 指定运算设备

PyTorch 默认会将张量创建在 CPU 控制的内存中, 即: 默认的运算设备为 CPU。我们也可以将张量创建在 GPU 上, 能够利用对于矩阵计算的优势加快模型训练。将张量移动到 GPU 上有两种方法: 1. 使用 cuda 方法 2. 直接在 GPU 上创建张量 3. 使用 to 方法指定设备

import torch

1. 使用 cuda 方法

def test01():

    data = torch.tensor([10, 20 ,30])
    print('存储设备:', data.device)

    # 如果安装的不是 gpu 版本的 PyTorch
    # 或电脑本身没有 NVIDIA 卡的计算环境
    # 下面代码可能会报错
    data = data.cuda()
    print('存储设备:', data.device)

    # 使用 cpu 函数将张量移动到 cpu 上
    data = data.cpu()
    print('存储设备:', data.device)

    # 输出结果:
    # 存储设备: cpu
    # 存储设备: cuda:0
    # 存储设备: cpu


2. 直接将张量创建在 GPU 上

def test02():

    data = torch.tensor([10, 20, 30], device='cuda:0')
    print('存储设备:', data.device)

    # 使用 cpu 函数将张量移动到 cpu 上
    data = data.cpu()
    print('存储设备:', data.device)

    # 输出结果:
    # 存储设备: cuda:0
    # 存储设备: cpu


3. 使用 to 方法

def test03():

    data = torch.tensor([10, 20, 30])
    print('存储设备:', data.device)

    data = data.to('cuda:0')
    print('存储设备:', data.device)

    # 输出结果:
    # 存储设备: cpu
    # 存储设备: cuda:0


 4. 存储在不同设备的张量不能运算

def test04():

    data1 = torch.tensor([10, 20, 30], device='cuda:0')
    data2 = torch.tensor([10, 20, 30])
    print(data1.device, data2.device)

    # RuntimeError: Expected all tensors to be on the same device,
    # but found at least two devices, cuda:0 and cpu!
    data = data1 + data2
    print(data)


if __name__ == '__main__':
    test04()

程序输出结果:

存储设备: cpu
存储设备: cuda:0
存储设备: cpu
存储设备: cuda:0
存储设备: cpu
存储设备: cpu
存储设备: cuda:0
cuda:0 cpu

🍔 小节

在本小节中，我们主要学习的主要内容如下:

  1. 张量基本运算函数 add、sub、mul、div、neg 等函数, add_、sub_、mul_、div_、neg_ 等 inplace 函数
  2. 张量的阿达玛积运算 mul 和运算符 * 的用法
  3. 点积运算:
    1. 运算符 @ 用于进行两个矩阵的点乘运算
    2. torch.mm 用于进行两个矩阵点乘运算, 要求输入的矩阵为2维
    3. torch.bmm 用于批量进行矩阵点乘运算, 要求输入的矩阵为3维
    4. torch.matmul 对进行点乘运算的两矩阵形状没有限定.
      1. 对于输入都是二维的张量相当于 mm 运算.
      2. 对于输入都是三维的张量相当于 bmm 运算
      3. 对数输入的 shape 不同的张量, 对应的最后几个维度必须符合矩阵运算规则
  4. 将变量移动到 GPU 设备的方法，例如: cuda 方法、直接在 GPU 上创建张量、使用 to 方法指定设备

💘若拙见能为您的学习之旅添一丝光亮，不胜荣幸💘

🐼 期待您的宝贵意见，共同进步🐼

小言从不摸鱼
关注
pytorch-examples:使用PyTorch实施的教程，示例和项目
05-14
此外，PyTorch的张量（Tensor）类与NumPy高度兼容，使得从数值计算过渡到深度学习变得无缝。 二、机器学习基础 "machine-learning"标签表明，这个项目不仅涉及深度学习，还涵盖了基础的机器学习算法。PyTorch可以...
03PyTorch入门-new1
08-03
在深度学习实践中，PyTorch的张量不仅提供了高效的数值计算，还支持自动求导（autograd），这是训练神经网络的关键特性。了解和熟练掌握张量的创建、操作和转换，是使用PyTorch进行深度学习的基础。
PyTorch使用------张量的创建和数值计算
2301_76820214的博客
08-17 1152
PyTorch 是一个 Python 深度学习框架，学习PyTorch在当今深度学习领域至关重要。PyTorch以其动态计算图、易于使用的API和强大的社区支持，成为科研人员、数据科学家及工程师的首选框架。它不仅简化了模型设计、训练与部署流程，还极大地提高了实验效率和创新能力。掌握PyTorch，能够加速科研进度，促进项目落地，是在AI时代保持竞争力的关键技能之一。满满的都是干货，希望能帮助到大家！
Pytorch-张量基础操作
小森的博客
03-23 1520
😆😆😆我们先来看一下张量的介绍😆😆😆。
【pytorch】-张量
阿超的博客
08-02 434
1
PyTorch 02-张量
qq_39172845的博客
03-04 1645
日月光华PyTorch—张量数据类型
pytorch-张量-张量的计算-基本运算
weixin_45955630的博客
12-25 3417
2基本运算 张量的基本运算方式，一种为逐元素之间的运算，如加减乘除四则运算，幂运算，平方根，对数，数据剪裁等，另一种为矩阵之间的运算，如矩阵相乘，矩阵的转置，矩阵的迹等 import torch # 矩阵逐元素相乘 a = torch.arange(6.0).reshape(2,3) b = torch.linspace(10, 20, steps=6).reshape(2, 3) print("a", a) print("b", b) print(a * b) # 逐元素相除 print(a / b)
pytorch---张量和自动求导
m0_37347812的博客
03-26 251
。手动实现反向传递对于小型双层网 络来说并不是什么大问 题，但对于大型复杂网络来说很快就会变得非常繁琐。但是可以使用自动微分来自动计算神经网络中的后向传递。 **PyTorch中的 autograd 包提供了这个功能。当使用autograd时，网络前向传播将定义一个计算图；图中的节点是tensor，边是函数，这些函数是输出tensor到输入tensor的映射。这张计算图使得在网络中反向传播时梯度的计算十分简单。**这听起来很复杂，在实践中使用起来非常简单。 **如果我们想计算某些的tensor的梯度，我们只
PyTorch使用------张量的类型转换，拼接操作，索引操作，形状操作
2301_76820214的博客
08-17 1147
学习张量的拼接、索引和形状操作在深度学习和数据处理中至关重要。
pytorch-张量-张量的计算-比较大小
weixin_45955630的博客
12-25 4681
张量计算 张量的计算内容主要包括：张量之间的大小比较，张量的基本运算，如元素之间的运算和矩阵之间的运算等，张量与统计相关的运算，如排序，最大值，最小值，最大值的位置等内容。 1，比较大小： 对于torch.allclose()torch.allclose()torch.allclose()函数，比较的是两个元素是否接近，比较A和B是否接近的公式为： ∣A−B∣<=atol+rtol×∣B∣ |A-B|<=atol+rtol\times|B| ∣A−B∣<=atol+rtol×∣B∣ imp
pytorch笔记 --- 张量操作
wwyy2018的博客
09-05 645
修改时间记录：19/9/5 、 1、torch.Tensor 和 torch.tensor 区别 torch.Tensor是默认的tensor类型（torch.FloatTensor）的简称，可以接受形状输入。需要注意用形状创建的tensor数值会很没规律，很大或很小，后续如果直接传入神经网络会出现各种莫名其妙的bug，所以用这样创建之后要尽快传入数值把它覆盖掉 torch.tenso...
a-PyTorch-Tutorial-to-Image-Captioning-master_pytorch_
09-30
4. **灵活性**：PyTorch更适用于实验和探索新模型，而numpy更适合于简单和快速的数值计算。 **案例研究：图像标题生成(Image Captioning)** 图像标题生成是计算机视觉与自然语言处理的交叉领域，目标是给输入图像...
基于GPU加速+Pytorch的K-Means聚类实现-附项目源码-优质项目实战.zip
05-25
GPU（图形处理器）最初设计用于处理图形计算，但其并行计算能力使其在大规模数值计算和深度学习任务中表现出色。与CPU相比，GPU可以同时执行更多的计算线程，大大加快了计算速度，特别是在处理矩阵运算和向量操作时...
PyTorch-Course 代码+讲义+课件（B站最高播放量配套）
10-14
在课程中，你将学习如何利用Tensor进行数值计算，理解张量的基本操作，包括创建、加减乘除、形状变换等。此外，还将深入探讨自动梯度（Automatic Gradient）机制，这是训练神经网络的关键，PyTorch的autograd模块能...
Machine Learning Specialization 学习笔记（3）
qq_41136689的博客
09-20 896
博客仅记录个人学习进度和一些查缺补漏。学习内容：BV1Bq421A74G感受野（Receptive Field）是一个神经元在输入图像上“看到”或响应的区域。更简单地说，它指的是输出层的一个特定神经元对应于输入图像的哪些位置。从基础特征到复杂特征的逐层推进源自网络各层对信息逐渐复杂和综合的处理方式。感受野是帮助理解这一过程的一个关键概念，它直观描述了每个神经元在输入图像中负责的具体区域。从小感受野到大感受野，使得神经网络能够逐步从细节到整体进行信息处理和特征提取。
机器学习【教育领域及其平台搭建】
最新发布
qq_201729558
09-26 655
本文主要讲解机器学习教育领域及其平台搭建
计算机毕业设计Hadoop+PySpark深圳共享单车预测系统 PyHive 共享单车数据分析可视化大屏 共享单车爬虫 共享单车数据仓库 机器学习 深度学习
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
09-24 1701
计算机毕业设计Hadoop+PySpark深圳共享单车预测系统 PyHive 共享单车数据分析可视化大屏 共享单车爬虫 共享单车数据仓库 机器学习 深度学习
python 实现area under curve曲线下面积算法
luthane的博客
09-23 1178
Area Under Curve”（AUC）曲线下面积算法主要用于衡量二元分类模型的性能，特别是在机器学习和统计中。AUC 主要与 ROC（Receiver Operating Characteristic）曲线相关联，ROC 曲线是一种图形化方法，用于展示在不同分类阈值下真正例率（TPR，也称为灵敏度或召回率）与假正例率（FPR）之间的关系。AUC 则是 ROC 曲线下的面积，用于量化分类器的性能。AUC 的计算方法AUC 的计算方法有几种，但核心思想都是基于 ROC 曲线上的点。
pytorch实现cnn-lstm神经网络处理多变量回归预测
05-01
# 转换为PyTorch张量 data = torch.from_numpy(data).float() target = torch.from_numpy(target).float() # 定义模型和优化器 model = CNNLSTM(5, 64, 3) optimizer = optim.Adam(model.parameters(), lr=0.001) ...
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值