PyTorch张量运算

最新推荐文章于 2024-04-03 17:31:15 发布
最新推荐文章于 2024-04-03 17:31:15 发布
阅读量1.1k 收藏 20
点赞数 19
分类专栏： 人工智能学习笔记 文章标签： pytorch 人工智能 python 张量 线性代数 矩阵乘法 哈达玛积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/136091391
版权

诸神缄默不语-个人CSDN博文目录

在深度学习领域，张量是一种非常核心的数据结构，它是标量、向量和矩阵等数学概念的高维扩展。PyTorch作为一款流行的深度学习框架，提供了丰富的张量操作API，帮助研究人员和开发者有效地实现复杂的数学运算和神经网络模型。在本文中，我们将探索PyTorch中的张量运算，包括基础的加减乘除，以及更高级的点乘和叉乘等操作。

在PyTorch中，张量（Tensor）是一个多维数组，用于存储数值型数据。通过张量，我们可以表示标量（0维张量）、向量（1维张量）、矩阵（2维张量）等各种形式的数据。

文章目录

1. 创建张量

更复杂的张量创建方案以后再写，这里仅分享简单的通过torch.tensor()函数直接创建张量：：

import torch

# 创建一个标量（0维张量）
scalar = torch.tensor(5)

# 创建一个向量（1维张量）
vector = torch.tensor([1, 2, 3])

# 创建一个矩阵（2维张量）
matrix = torch.tensor([[1, 2], [3, 4]])

# 创建一个3维张量
tensor3d = torch.tensor([[[1, 2], [3, 4]], [[5, 6], [7, 8]]])

2. 张量的加减乘除

张量之间的基本运算包括加法、减法、乘法和除法。这些运算可以应用于标量、向量、矩阵以及更高维度的张量。

一般来说对于mini-batch场景都可以直接不考虑批次影响直接运算。对于矩阵乘法这还包括torch.bmm()场景（NLP中输入往往是[batch_size, word_num, embedding_size]就符合这个场景）。

这里只介绍了比较简单的场景，还没有介绍广播机制。

加法

  1. 尺寸相同的张量相加，就是逐元素相加：
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(tensor1 + tensor2)

输出：

tensor([[ 8, 10, 12],
        [14, 16, 18]])
  1. 张量加数字就是每个元素上加这个数字：
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor1 + 1)

输出：

tensor([[2, 3, 4],
        [5, 6, 7]])

减法

  1. 尺寸相同的张量相减，就是逐元素相加：
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(tensor1 - tensor2)

输出：

tensor([[-6, -6, -6],
        [-6, -6, -6]])
  1. 张量加数字就是每个元素上加这个数字：
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor1 - 1)

输出：

tensor([[0, 1, 2],
        [3, 4, 5]])

乘法

  1. 元素乘法（Hadamard乘法/哈达玛积）：尺寸相同的张量相乘，逐元素相乘
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(tensor1 * tensor2)
    或者：
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(torch.mul(tensor1, tensor2))
    输出：
    tensor([[ 7, 16, 27],
        [40, 55, 72]])
  2. 张量乘数字：逐元素相乘
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor1 * 2)
  3. 矩阵乘法：二元张量
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9, 10], [11, 12, 13, 14], [15, 16, 17, 18]])
print(tensor1 @ tensor2)
    或者：
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9, 10], [11, 12, 13, 14], [15, 16, 17, 18]])
print(torch.mm(tensor1, tensor2))
    或者：
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9, 10], [11, 12, 13, 14], [15, 16, 17, 18]])
print(torch.matmul(tensor1, tensor2))
    输出：
    tensor([[ 74,  80,  86,  92],
        [173, 188, 203, 218]])

mini-batch矩阵乘法

torch.matmul()和torch.bmm()在mini-batch矩阵乘法时的效果相同：

tensor1 = torch.randn((8, 2, 3))
tensor1[0, :, :] = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.randn((8, 3, 4))
tensor2[0, :, :] = torch.tensor(
    [[7, 8, 9, 10], [11, 12, 13, 14], [15, 16, 17, 18]]
)

tensor3 = torch.bmm(tensor1, tensor2)
print(tensor3.size())
print(tensor3)

tensor4 = torch.matmul(tensor1, tensor2)
print(tensor4.size())
print(tensor4)

输出：

torch.Size([8, 2, 4])
tensor([[[ 7.4000e+01,  8.0000e+01,  8.6000e+01,  9.2000e+01],
         [ 1.7300e+02,  1.8800e+02,  2.0300e+02,  2.1800e+02]],

        [[-7.4121e-01,  4.5700e-01,  4.8753e-01, -1.5857e+00],
         [-1.3277e+00, -3.1067e-01,  6.9044e-02, -1.5349e+00]],

        [[-7.9833e-01,  6.2960e-02,  9.2492e-01, -1.0725e+00],
         [-2.3740e+00,  1.4807e+00, -3.7188e-01, -6.8096e-01]],

        [[-1.3164e+00,  1.8683e-01, -2.4655e+00,  2.8674e+00],
         [ 1.1632e+00, -1.1536e+00,  7.8646e-01,  2.8742e-01]],

        [[ 2.9451e-01,  2.8613e+00,  1.0916e-01,  3.3683e+00],
         [-5.0816e+00, -4.6865e+00, -2.4027e+00, -5.5370e+00]],

        [[ 7.5808e-01, -1.0055e-01,  1.6402e-01, -1.6499e-01],
         [ 3.0521e-01,  2.2200e-01,  8.0074e-01,  9.8477e-01]],

        [[-5.3240e-01, -1.5062e+00,  4.1627e-02, -7.6117e-01],
         [-9.1952e-01,  7.5713e-01, -1.8531e+00,  1.9099e+00]],

        [[ 3.5094e+00,  2.4735e+00,  1.9523e+00,  2.4074e+00],
         [ 2.4156e-01,  5.4852e+00,  3.9815e+00, -1.8851e+00]]])
torch.Size([8, 2, 4])
tensor([[[ 7.4000e+01,  8.0000e+01,  8.6000e+01,  9.2000e+01],
         [ 1.7300e+02,  1.8800e+02,  2.0300e+02,  2.1800e+02]],

        [[-7.4121e-01,  4.5700e-01,  4.8753e-01, -1.5857e+00],
         [-1.3277e+00, -3.1067e-01,  6.9044e-02, -1.5349e+00]],

        [[-7.9833e-01,  6.2960e-02,  9.2492e-01, -1.0725e+00],
         [-2.3740e+00,  1.4807e+00, -3.7188e-01, -6.8096e-01]],

        [[-1.3164e+00,  1.8683e-01, -2.4655e+00,  2.8674e+00],
         [ 1.1632e+00, -1.1536e+00,  7.8646e-01,  2.8742e-01]],

        [[ 2.9451e-01,  2.8613e+00,  1.0916e-01,  3.3683e+00],
         [-5.0816e+00, -4.6865e+00, -2.4027e+00, -5.5370e+00]],

        [[ 7.5808e-01, -1.0055e-01,  1.6402e-01, -1.6499e-01],
         [ 3.0521e-01,  2.2200e-01,  8.0074e-01,  9.8477e-01]],

        [[-5.3240e-01, -1.5062e+00,  4.1627e-02, -7.6117e-01],
         [-9.1952e-01,  7.5713e-01, -1.8531e+00,  1.9099e+00]],

        [[ 3.5094e+00,  2.4735e+00,  1.9523e+00,  2.4074e+00],
         [ 2.4156e-01,  5.4852e+00,  3.9815e+00, -1.8851e+00]]])

除法

  1. 逐元素相除
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(tensor1 / tensor2)

输出：

tensor([[0.1429, 0.2500, 0.3333],
        [0.4000, 0.4545, 0.5000]])
  1. 张量除以数字：逐元素相除
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor1 / 2)

输出：

tensor([[0.5000, 1.0000, 1.5000],
        [2.0000, 2.5000, 3.0000]])

3. 向量点积

torch.dot()只支持一维向量点积1

vector1 = torch.tensor([1, 2, 3])
vector2 = torch.tensor([4, 5, 6])
print(torch.dot(vector1, vector2))

4. 实践应用示例

假设我们有一批文本数据编码后的向量，我们想要计算这些向量之间的相似度。一种方法是使用向量的点乘来计算：

text_vector1 = torch.tensor([0.1, 0.2, 0.3])
text_vector2 = torch.tensor([0.4, 0.5, 0.6])
similarity = torch.dot(text_vector1, text_vector2)

此外，如果我们处理的是图片数据，我们可能需要对图片的像素值进行标准化处理，这就需要用到张量的乘法和除法运算：

image_tensor = torch.tensor([[[0.1, 0.2], [0.3, 0.4]], [[0.5, 0.6], [0.7, 0.8]]])
norm_factor = torch.tensor(255.0)
normalized_image = image_tensor / norm_factor

通过这些示例，我们可以看到张量运算在处理各种类型的数据时的强大能力和灵活性。

结语

PyTorch张量运算是深度学习编程中的基石，掌握这些基础和高级运算对于高效实现和优化神经网络模型至关重要。希望本文能帮助你更好地理解和使用PyTorch进行张量运算，从而在你的研究和项目中取得更好的成果。

  1. torch.dot — PyTorch 2.2 documentation ↩︎

诸神缄默不语
关注
  • 19
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Pytorch快速入门系列---（一）张量及运算
qq_42681787的博客
03-06 3107
在上面的例子中，我们演示了如何调用pytorch中的函数查看、修改默认数据类型，但是这种修改是全局的，如何我们想要把一个张量a（32位浮点型）转换为16位有符号整型但是又不影响其他张量的数据类型怎么办呢？我们接着看下面一个例子。torch.sort()函数：对一维张量进行排序，或者对高维张量在指定的维度进行排序，在输出排序结果的同时，还会输出对应的值在原始位置的索引。张量计算主要包括张量之间的大小比较、张量的基本运算（元素之间的运算和矩阵之间的运算）、张量与统计相关的运算（排序、最大值、最小值）
pytorch（三）——Tensor张量的运算
北落师门XY的博客
03-14 3697
注：以下均基于导入库 import torch 构造方法 常用函数 .reshape()#变形 .size()#返回大小 .dim()#返回维度，即size返回的数据条目个数 .numel()#返回元素个数，即size返回条目之积 .dtype#查看元素类型，int默认torch.int64，bool默认torch.uint8...
pytorch中张量的运算
m0_45827246的博客
01-01 2841
在深度学习中，经常需要对张量做四则、线性变换和激活等。 1. 单个张量的函数运算 t = torch.rand(2, 2) # 产生一个3x3的张量 print(t) print(t.sqrt()) # 张量的平方根，张量内部方法 print(torch.sqrt(t)) # 张量的平方根，函数形式 print(t.sqrt_()) # 平方根原地操作 print(torch.sum(t)) # 所有元素求和 print(torch.sum(t, 0)) # 第0维元素求和 print(torc
[Pytorch]：PyTorch中张量乘法大全
最新发布
Bin_Dut的博客
04-03 924
在 PyTorch 中，有多种方法可以执行张量之间的乘法。两个矩阵相乘，第一个矩阵的列数必须等于第二个矩阵的行数。()`对应位置的元素相乘，输入张量形状必须相同或。：对于具有更高维度的张量（点积），可以使用。换句话说，输入张量的形状应为。此外，第一个输入张量的。必须与第二个输入张量的。两个一维张量的点积。
pytorch tensor division/除法
qq_29007291的博客
11-26 1万+
除法的时候要注意数据类型的问题 a = torch.div(torch.tensor([160, 110]), 0.137) jupyter notebook就会奔溃, 因为torch.tensor([160, 110])是torch.int64数据类型, 而0.137(或者说torch.tensor(0.137))是torch.float32类型. 如果改成下面这样, 就会顺利运行 a = t...
Pytorch 基础之数学运算
zxhandroid的博客
02-26 1979
每门语言都少不了加减乘除等数学运算，Pytorch 作为一个开源的机器学习库，除了这些基本的数学运算，还涉及到矩阵运算、三角函数、傅立叶变换等等。
pytorch中tensor张量数据类型的转化方式
09-18
例如，`torch.Tensor.numpy()`方法将PyTorch张量转换为NumPy数组，而`torch.from_numpy()`函数则将NumPy数组转化为PyTorch张量。需要注意的是，如果张量是CPU上的，则转换过程几乎是零拷贝的，提高了效率。 示例：...
pytorch 实现张量tensor,图片,CPU,GPU,数组等的转换
09-18
PyTorch张量与NumPy数组之间可以无缝转换。`b = a.numpy()`将张量转换为NumPy数组，而`a = b.from_numpy()`则将数组转换回张量。这种转换使得在PyTorch和NumPy库间进行数据处理变得非常方便。 4. **保存GPU张量为...
PyTorch入门.pptx
09-07
但是，PyTorch的张量可以在GPU上进行运算加速，而NumPy的ndarray只能在CPU上进行运算。此外，PyTorch的张量还具有device和requires_grad等设置参数，可以帮助开发者更好地控制模型的行为。 7. 张量与NumPy的函数...
PyTorch 基础：Tensor（张量）-谢TS的博客.pdf
07-17
torch.Tensor 是包含单一数据类型元素的多维数组，它是 PyTorch 中数据存储和运算的基本单元，类似于 NumPy 的 numpy.ndarray，两者的函数接口和运算方式几乎一样。实际上 PyTorch 内部也是把 ndarray 包装成 Tensor...
jetpack 安装pytorch 文档
05-10
2. **速度**：PyTorch利用GPU加速，显著提升了张量运算的速度，尤其适合处理复杂的深度学习任务。 3. **NumPy兼容性**：PyTorch提供与NumPy类似的接口，使得数据预处理和后处理工作变得更加直观和高效。 4. **社区...
Pytorch基础操作 —— 14. 张量的加法、减法、乘法、除法运算
老程的技术笔记
11-25 1万+
文章目录torch.add函数原型torch.sum函数原型参数说明例程torch.sub函数原型torch.cumprod函数原型例程torch.dot函数原型torch.inner函数原型例程torch.cross函数原型例程torch.mm函数原型例程torch.mul函数原型例程torch.matmul函数原型torch.div函数原型特别说明例程 Function Description Detail add Adds other, scaled by alpha, to inpu
【PyTorch教程】03-张量运算详细总结
Sihang_Xie的博客
07-06 2590
本篇教程介绍了PyTorch张量运算的主要操作。包括张量移到GPU进行运算、张量的切片和索引、张量的拼接、张量的转置、张量的点乘和叉乘以及自动赋值运算。相信读完本篇博文，你会得到答案。
PyTorch的10个基本张量操作
deephub
02-05 5629
PyTorch是一个基于python的科学计算包。它的灵活性允许轻松集成新的数据类型和算法，并且框架也是高效和可扩展的，下面我们将介绍一些Pytorch的基本张量操作。
深度学习之pytorch张量与张量运算
自成背后的博客
04-19 464
pytorch 张量与张量运算
Pytorch入门：Tensor加减乘除矩阵运算
qq_40379977的博客
02-18 2271
pytorch tensor加减乘除矩阵运算
pytorch张量运算
guohui0412的博客
10-13 273
pytorch张量运算 张量的简介生成不同数据类型的张量list和numpy.ndarray转换为TensorTensor与Numpy Array之间的转换Tensor的基本类型转换（float转double，转byte等）torch.arange()、torch.range()、torch.linspace的区别：张量的重排...
pytorch多个张量的加减乘除运算
weixin_43220532的博客
04-18 4078
import torch a1 = torch.rand(2, 3) print(a1) a2 = torch.rand(2, 3) print(a2) print(a1.add(a2)) # 加法运算a1 + a2，不改变参与运算的张量的值 print(a1 + a2) # 加法运算a1 + a2，不改变参与运算的张量的值 print(a1.sub(a2)) # 减法运算a1 - a2，不改变参与运算的张量的值 print(a1 - a2) # 减法运算a1 - a2，不改变参与运算的张量的
PyTorch疑难杂症（1）——torch.matmul()函数用法总结
热门推荐
Wendy的博客
11-05 4万+
目录一、函数介绍二、常见用法2.1 两个一维向量的乘积运算2.2 两个二维矩阵的乘积运算2.3 一个一维向量和一个二维矩阵的乘积运算2.4 一个二维矩阵和一个一维向量的乘积运算2.5 其他 一、函数介绍 pytorch中两个张量的乘法可以分为两种： 两个张量对应元素相乘，在PyTorch中可以通过torch.mul函数（或*运算符）实现； 两个张量矩阵相乘，在PyTorch中可以通过torch.matmul函数实现； torch.matmul(input, other) → Tensor 计算两个张量i
pytorch张量算术运算
08-23
PyTorch提供了丰富的张量算术运算，可以对张量进行各种复杂的运算。你可以使用PyTorch的算术函数来执行加法、减法、乘法和除法操作。例如，你可以使用add()函数执行张量的加法运算，subtract()函数执行减法运算，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值