PyTorch张量运算

最新推荐文章于 2024-04-03 17:31:15 发布
最新推荐文章于 2024-04-03 17:31:15 发布
阅读量1.1k 收藏 20
点赞数 19
分类专栏： 人工智能学习笔记 文章标签： pytorch 人工智能 python 张量 线性代数 矩阵乘法 哈达玛积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/136091391
版权

诸神缄默不语-个人CSDN博文目录

在深度学习领域，张量是一种非常核心的数据结构，它是标量、向量和矩阵等数学概念的高维扩展。PyTorch作为一款流行的深度学习框架，提供了丰富的张量操作API，帮助研究人员和开发者有效地实现复杂的数学运算和神经网络模型。在本文中，我们将探索PyTorch中的张量运算，包括基础的加减乘除，以及更高级的点乘和叉乘等操作。

在PyTorch中，张量（Tensor）是一个多维数组，用于存储数值型数据。通过张量，我们可以表示标量（0维张量）、向量（1维张量）、矩阵（2维张量）等各种形式的数据。

文章目录

1. 创建张量

更复杂的张量创建方案以后再写，这里仅分享简单的通过torch.tensor()函数直接创建张量：：

import torch

# 创建一个标量（0维张量）
scalar = torch.tensor(5)

# 创建一个向量（1维张量）
vector = torch.tensor([1, 2, 3])

# 创建一个矩阵（2维张量）
matrix = torch.tensor([[1, 2], [3, 4]])

# 创建一个3维张量
tensor3d = torch.tensor([[[1, 2], [3, 4]], [[5, 6], [7, 8]]])

2. 张量的加减乘除

张量之间的基本运算包括加法、减法、乘法和除法。这些运算可以应用于标量、向量、矩阵以及更高维度的张量。

一般来说对于mini-batch场景都可以直接不考虑批次影响直接运算。对于矩阵乘法这还包括torch.bmm()场景（NLP中输入往往是[batch_size, word_num, embedding_size]就符合这个场景）。

这里只介绍了比较简单的场景，还没有介绍广播机制。

加法

  1. 尺寸相同的张量相加，就是逐元素相加：
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(tensor1 + tensor2)

输出：

tensor([[ 8, 10, 12],
        [14, 16, 18]])
  1. 张量加数字就是每个元素上加这个数字：
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor1 + 1)

输出：

tensor([[2, 3, 4],
        [5, 6, 7]])

减法

  1. 尺寸相同的张量相减，就是逐元素相加：
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(tensor1 - tensor2)

输出：

tensor([[-6, -6, -6],
        [-6, -6, -6]])
  1. 张量加数字就是每个元素上加这个数字：
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor1 - 1)

输出：

tensor([[0, 1, 2],
        [3, 4, 5]])

乘法

  1. 元素乘法（Hadamard乘法/哈达玛积）：尺寸相同的张量相乘，逐元素相乘
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(tensor1 * tensor2)
    或者：
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(torch.mul(tensor1, tensor2))
    输出：
    tensor([[ 7, 16, 27],
        [40, 55, 72]])
  2. 张量乘数字：逐元素相乘
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor1 * 2)
  3. 矩阵乘法：二元张量
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9, 10], [11, 12, 13, 14], [15, 16, 17, 18]])
print(tensor1 @ tensor2)
    或者：
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9, 10], [11, 12, 13, 14], [15, 16, 17, 18]])
print(torch.mm(tensor1, tensor2))
    或者：
    tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9, 10], [11, 12, 13, 14], [15, 16, 17, 18]])
print(torch.matmul(tensor1, tensor2))
    输出：
    tensor([[ 74,  80,  86,  92],
        [173, 188, 203, 218]])

mini-batch矩阵乘法

torch.matmul()和torch.bmm()在mini-batch矩阵乘法时的效果相同：

tensor1 = torch.randn((8, 2, 3))
tensor1[0, :, :] = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.randn((8, 3, 4))
tensor2[0, :, :] = torch.tensor(
    [[7, 8, 9, 10], [11, 12, 13, 14], [15, 16, 17, 18]]
)

tensor3 = torch.bmm(tensor1, tensor2)
print(tensor3.size())
print(tensor3)

tensor4 = torch.matmul(tensor1, tensor2)
print(tensor4.size())
print(tensor4)

输出：

torch.Size([8, 2, 4])
tensor([[[ 7.4000e+01,  8.0000e+01,  8.6000e+01,  9.2000e+01],
         [ 1.7300e+02,  1.8800e+02,  2.0300e+02,  2.1800e+02]],

        [[-7.4121e-01,  4.5700e-01,  4.8753e-01, -1.5857e+00],
         [-1.3277e+00, -3.1067e-01,  6.9044e-02, -1.5349e+00]],

        [[-7.9833e-01,  6.2960e-02,  9.2492e-01, -1.0725e+00],
         [-2.3740e+00,  1.4807e+00, -3.7188e-01, -6.8096e-01]],

        [[-1.3164e+00,  1.8683e-01, -2.4655e+00,  2.8674e+00],
         [ 1.1632e+00, -1.1536e+00,  7.8646e-01,  2.8742e-01]],

        [[ 2.9451e-01,  2.8613e+00,  1.0916e-01,  3.3683e+00],
         [-5.0816e+00, -4.6865e+00, -2.4027e+00, -5.5370e+00]],

        [[ 7.5808e-01, -1.0055e-01,  1.6402e-01, -1.6499e-01],
         [ 3.0521e-01,  2.2200e-01,  8.0074e-01,  9.8477e-01]],

        [[-5.3240e-01, -1.5062e+00,  4.1627e-02, -7.6117e-01],
         [-9.1952e-01,  7.5713e-01, -1.8531e+00,  1.9099e+00]],

        [[ 3.5094e+00,  2.4735e+00,  1.9523e+00,  2.4074e+00],
         [ 2.4156e-01,  5.4852e+00,  3.9815e+00, -1.8851e+00]]])
torch.Size([8, 2, 4])
tensor([[[ 7.4000e+01,  8.0000e+01,  8.6000e+01,  9.2000e+01],
         [ 1.7300e+02,  1.8800e+02,  2.0300e+02,  2.1800e+02]],

        [[-7.4121e-01,  4.5700e-01,  4.8753e-01, -1.5857e+00],
         [-1.3277e+00, -3.1067e-01,  6.9044e-02, -1.5349e+00]],

        [[-7.9833e-01,  6.2960e-02,  9.2492e-01, -1.0725e+00],
         [-2.3740e+00,  1.4807e+00, -3.7188e-01, -6.8096e-01]],

        [[-1.3164e+00,  1.8683e-01, -2.4655e+00,  2.8674e+00],
         [ 1.1632e+00, -1.1536e+00,  7.8646e-01,  2.8742e-01]],

        [[ 2.9451e-01,  2.8613e+00,  1.0916e-01,  3.3683e+00],
         [-5.0816e+00, -4.6865e+00, -2.4027e+00, -5.5370e+00]],

        [[ 7.5808e-01, -1.0055e-01,  1.6402e-01, -1.6499e-01],
         [ 3.0521e-01,  2.2200e-01,  8.0074e-01,  9.8477e-01]],

        [[-5.3240e-01, -1.5062e+00,  4.1627e-02, -7.6117e-01],
         [-9.1952e-01,  7.5713e-01, -1.8531e+00,  1.9099e+00]],

        [[ 3.5094e+00,  2.4735e+00,  1.9523e+00,  2.4074e+00],
         [ 2.4156e-01,  5.4852e+00,  3.9815e+00, -1.8851e+00]]])

除法

  1. 逐元素相除
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]])
print(tensor1 / tensor2)

输出：

tensor([[0.1429, 0.2500, 0.3333],
        [0.4000, 0.4545, 0.5000]])
  1. 张量除以数字：逐元素相除
tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor1 / 2)

输出：

tensor([[0.5000, 1.0000, 1.5000],
        [2.0000, 2.5000, 3.0000]])

3. 向量点积

torch.dot()只支持一维向量点积1

vector1 = torch.tensor([1, 2, 3])
vector2 = torch.tensor([4, 5, 6])
print(torch.dot(vector1, vector2))

4. 实践应用示例

假设我们有一批文本数据编码后的向量，我们想要计算这些向量之间的相似度。一种方法是使用向量的点乘来计算：

text_vector1 = torch.tensor([0.1, 0.2, 0.3])
text_vector2 = torch.tensor([0.4, 0.5, 0.6])
similarity = torch.dot(text_vector1, text_vector2)

此外，如果我们处理的是图片数据，我们可能需要对图片的像素值进行标准化处理，这就需要用到张量的乘法和除法运算：

image_tensor = torch.tensor([[[0.1, 0.2], [0.3, 0.4]], [[0.5, 0.6], [0.7, 0.8]]])
norm_factor = torch.tensor(255.0)
normalized_image = image_tensor / norm_factor

通过这些示例，我们可以看到张量运算在处理各种类型的数据时的强大能力和灵活性。

结语

PyTorch张量运算是深度学习编程中的基石，掌握这些基础和高级运算对于高效实现和优化神经网络模型至关重要。希望本文能帮助你更好地理解和使用PyTorch进行张量运算，从而在你的研究和项目中取得更好的成果。

  1. torch.dot — PyTorch 2.2 documentation ↩︎

诸神缄默不语
关注
  • 19
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Pytorch快速入门系列---（一）张量及运算
qq_42681787的博客
03-06 3114
在上面的例子中，我们演示了如何调用pytorch中的函数查看、修改默认数据类型，但是这种修改是全局的，如何我们想要把一个张量a（32位浮点型）转换为16位有符号整型但是又不影响其他张量的数据类型怎么办呢？我们接着看下面一个例子。torch.sort()函数：对一维张量进行排序，或者对高维张量在指定的维度进行排序，在输出排序结果的同时，还会输出对应的值在原始位置的索引。张量计算主要包括张量之间的大小比较、张量的基本运算（元素之间的运算和矩阵之间的运算）、张量与统计相关的运算（排序、最大值、最小值）
PyTorch张量
WhChina001的博客
12-17 601
Pytorch关于张量的相关基础知识。
PyTorch 基础：Tensor（张量）-谢TS的博客.pdf
07-17
PyTorch 是由 Facebook 研发的开源的深度学习框架，并且支持 CPU 和 GPU 加速计算。torch.Tensor 是包含单一数据类型元素的多维数组，它是 PyTorch 中数据存储和运算的基本单元，类似于 NumPy 的 numpy.ndarray，两者的函数接口和运算方式几乎一样。实际上 PyTorch 内部也是把 ndarray 包装成 Tensor。Tensor 中文称为 张量（可以看做是一个多维数组），是 PyTorch 中最基本的数据类型。
机器学习PyTorch——1.基本运算
qq_52914337的博客
01-08 1705
一.加减乘除 （1）在pytorch中，既可以使用基本的：+，-，*，/，运算符号进行计算，也可以使用pytorch的内置计算函数：add，sub，mul，div。需要注意的是，pytorch中的tensor再进行计算时，会自动进行维度的转换。例如： 这里在进行加运算前，将b已经进行维度转换为[3,4]。 （2）我们这里来看一下内置函数的使用： 这里我们需要注意，这里的运算结果，和直接使用符号进行运算是一样的，我们可以用 eq（）来进行一下验证： 二.矩阵相乘 （1）使用 to.
[Pytorch]：PyTorch中张量乘法大全
最新发布
Bin_Dut的博客
04-03 935
在 PyTorch 中，有多种方法可以执行张量之间的乘法。两个矩阵相乘，第一个矩阵的列数必须等于第二个矩阵的行数。()`对应位置的元素相乘，输入张量形状必须相同或。：对于具有更高维度的张量（点积），可以使用。换句话说，输入张量的形状应为。此外，第一个输入张量的。必须与第二个输入张量的。两个一维张量的点积。
【Pytorch基础】Pytorch的基本运算操作
sxl的博客
04-26 1760
  Pytorch跟Python一样都是一种编程语言，只不过Pytorch可以在GPU中进行计算。简单理解的话，就是这个区别吧。至于如何学习Pytorch，个人 觉得完全可以类比，Python两者语法跟用法没有太大差异。再者，为什么学习Pytorch基本计算，而不是用Python基本计算代替再转成tensor格式。个人在代码实现中的体会是：太麻烦，因为Pytorch默认创建变量的类型是float32，使用Python的数据类型如array是float64，如果进行tensor的转换后在计算会报错，变量类型不
Pytorch 基础之数学运算
zxhandroid的博客
02-26 1981
每门语言都少不了加减乘除等数学运算，Pytorch 作为一个开源的机器学习库，除了这些基本的数学运算，还涉及到矩阵运算、三角函数、傅立叶变换等等。
pytorch中张量的运算
m0_45827246的博客
01-01 2843
在深度学习中，经常需要对张量做四则、线性变换和激活等。 1. 单个张量的函数运算 t = torch.rand(2, 2) # 产生一个3x3的张量 print(t) print(t.sqrt()) # 张量的平方根，张量内部方法 print(torch.sqrt(t)) # 张量的平方根，函数形式 print(t.sqrt_()) # 平方根原地操作 print(torch.sum(t)) # 所有元素求和 print(torch.sum(t, 0)) # 第0维元素求和 print(torc
【PyTorch教程】03-张量运算详细总结
Sihang_Xie的博客
07-06 2592
本篇教程介绍了PyTorch张量运算的主要操作。包括张量移到GPU进行运算、张量的切片和索引、张量的拼接、张量的转置、张量的点乘和叉乘以及自动赋值运算。相信读完本篇博文，你会得到答案。
PyTorch的10个基本张量操作
deephub
02-05 5631
PyTorch是一个基于python的科学计算包。它的灵活性允许轻松集成新的数据类型和算法，并且框架也是高效和可扩展的，下面我们将介绍一些Pytorch的基本张量操作。
深度学习之pytorch张量与张量运算
自成背后的博客
04-19 464
pytorch 张量与张量运算
PyTorch计算图
devcy的博客
04-06 4337
PyTorch计算图
pytorch中tensor张量数据类型的转化方式
09-18
例如，`torch.Tensor.numpy()`方法将PyTorch张量转换为NumPy数组，而`torch.from_numpy()`函数则将NumPy数组转化为PyTorch张量。需要注意的是，如果张量是CPU上的，则转换过程几乎是零拷贝的，提高了效率。 示例：...
pytorch 实现张量tensor,图片,CPU,GPU,数组等的转换
09-18
PyTorch张量与NumPy数组之间可以无缝转换。`b = a.numpy()`将张量转换为NumPy数组，而`a = b.from_numpy()`则将数组转换回张量。这种转换使得在PyTorch和NumPy库间进行数据处理变得非常方便。 4. **保存GPU张量为...
PyTorch入门.pptx
09-07
但是，PyTorch的张量可以在GPU上进行运算加速，而NumPy的ndarray只能在CPU上进行运算。此外，PyTorch的张量还具有device和requires_grad等设置参数，可以帮助开发者更好地控制模型的行为。 7. 张量与NumPy的函数...
PyTorch 的内核机制1
08-03
PyTorch 的张量运算库 ATen 提供底层的计算功能，而 Autograd 负责自动计算梯度，用于反向传播。 在张量操作中，PyTorch 提供了与 Numpy 数组互换的方法，如 `from_numpy()` 和 `numpy()`，实现零拷贝（Zero-...
[PyTroch系列-7]：PyTorch基础 - 张量的算术运算
文火冰糖（王文兵）的博客
08-05 4220
作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing 本文网址： 第1章Tensor运算概述 1.1 概述 PyTorch算术函数包含简单的加减乘除运算:add()，subtract()，multiply()和divide()。 算术运算后得到的结果依然是是相同维度的数组。 https://pytorch.org/docs/master/torch.html 1.2 运算分类 （1）算术运算：加、减、系数乘、系数除 （2）函...
Pytorch入门：Tensor加减乘除矩阵运算
qq_40379977的博客
02-18 2276
pytorch tensor加减乘除矩阵运算
pytorch张量算术运算
08-23
PyTorch提供了丰富的张量算术运算，可以对张量进行各种复杂的运算。你可以使用PyTorch的算术函数来执行加法、减法、乘法和除法操作。例如，你可以使用add()函数执行张量的加法运算，subtract()函数执行减法运算，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值