torch.Tensor的4种乘法

最新推荐文章于 2024-09-25 19:19:05 发布
最新推荐文章于 2024-09-25 19:19:05 发布
阅读量1.8k 收藏 1
点赞数 1
分类专栏： python数据分析与处理 文章标签： python
原文链接：https://blog.csdn.net/da_kao_la/article/details/87484403
版权
本文详细介绍了PyTorch中张量的四种常见乘法操作：*运算符、torch.mul、torch.mm和torch.matmul。点乘（*运算符）支持广播机制，可以用于标量、向量和矩阵的乘法；torch.mul与*运算符类似，也是逐元素乘法；torch.mm执行标准的矩阵乘法，要求尺寸匹配；torch.matmul是torch.mm的广播版本，适用于不同尺寸的张量乘法。
摘要由CSDN通过智能技术生成

torch.Tensor的4种乘法

转载至

torch.Tensor有4种常见的乘法：*, torch.mul, torch.mm, torch.matmul. 本文抛砖引玉，简单叙述一下这4种乘法的区别，具体使用还是要参照官方文档。

点乘

a与b做*乘法，原则是如果a与b的size不同，则以某种方式将a或b进行复制，使得复制后的a和b的size相同，然后再将a和b做element-wise的乘法。

下面以*标量和*一维向量为例展示上述过程。

* 标量

Tensor与标量k做*乘法的结果是Tensor的每个元素乘以k（相当于把k复制成与lhs大小相同，元素全为k的Tensor）.

>>> a = torch.ones(3,4)
>>> a
tensor([[1., 1., 1., 1.],
        [1., 1., 1., 1.],
        [1., 1., 1., 1.]])
>>> a * 2
tensor([[2., 2., 2., 2.],
        [2., 2., 2., 2.],
        [2., 2., 2., 2.]])

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

* 一维向量

Tensor与行向量做*乘法的结果是每列乘以行向量对应列的值（相当于把行向量的行复制，成为与lhs维度相同的Tensor）. 注意此时要求Tensor的列数与行向量的列数相等。

>>> a = torch.ones(3,4)
>>> a
tensor([[1., 1., 1., 1.],
        [1., 1., 1., 1.],
        [1., 1., 1., 1.]])
>>> b = torch.Tensor([1,2,3,4])
>>> b
tensor([1., 2., 3., 4.])
>>> a * b
tensor([[1., 2., 3., 4.],
        [1., 2., 3., 4.],
        [1., 2., 3., 4.]])

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

Tensor与列向量做*乘法的结果是每行乘以列向量对应行的值（相当于把列向量的列复制，成为与lhs维度相同的Tensor）. 注意此时要求Tensor的行数与列向量的行数相等。

>>> a = torch.ones(3,4)
>>> a
tensor([[1., 1., 1., 1.],
        [1., 1., 1., 1.],
        [1., 1., 1., 1.]])
>>> b = torch.Tensor([1,2,3]).reshape((3,1))
>>> b
tensor([[1.],
        [2.],
        [3.]])
>>> a * b
tensor([[1., 1., 1., 1.],
        [2., 2., 2., 2.],
        [3., 3., 3., 3.]])
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

* 矩阵

经Arsmart在评论区提醒，增补一个矩阵 * 矩阵的例子，感谢Arsmart的热心评论！
如果两个二维矩阵A与B做点积A * B，则要求A与B的维度完全相同，即A的行数=B的行数，A的列数=B的列数

>>> a = torch.tensor([[1, 2], [2, 3]])
>>> a * a
tensor([[1, 4],
        [4, 9]])

 
 

 
 
  • 1
  • 2
  • 3
  • 4

broadcast

点积是broadcast的。broadcast是torch的一个概念，简单理解就是在一定的规则下允许高维Tensor和低维Tensor之间的运算。broadcast的概念稍显复杂，在此不做展开，可以参考官方文档关于broadcast的介绍. 在torch.matmul里会有关于broadcast的应用的一个简单的例子。
这里举一个点积broadcast的例子。在例子中，a是二维Tensor，b是三维Tensor，但是a的维度与b的后两位相同，那么a和b仍然可以做点积，点积结果是一个和b维度一样的三维Tensor，运算规则是：若c = a * b, 则c[i,*,*] = a * b[i, *, *]，即沿着b的第0维做二维Tensor点积，或者可以理解为运算前将a沿着b的第0维也进行了expand操作，即a = a.expand(b.size()); a * b。

>>> a = torch.tensor([[1, 2], [2, 3]])
>>> b = torch.tensor([[[1,2],[2,3]],[[-1,-2],[-2,-3]]])
>>> a * b
tensor([[[ 1,  4],
         [ 4,  9]],

    <span class="token punctuation">[</span><span class="token punctuation">[</span><span class="token operator">-</span><span class="token number">1</span><span class="token punctuation">,</span> <span class="token operator">-</span><span class="token number">4</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token operator">-</span><span class="token number">4</span><span class="token punctuation">,</span> <span class="token operator">-</span><span class="token number">9</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">)</span>

>>> b * a
tensor([[[ 1, 4],
[ 4, 9]],

    <span class="token punctuation">[</span><span class="token punctuation">[</span><span class="token operator">-</span><span class="token number">1</span><span class="token punctuation">,</span> <span class="token operator">-</span><span class="token number">4</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token operator">-</span><span class="token number">4</span><span class="token punctuation">,</span> <span class="token operator">-</span><span class="token number">9</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">)</span>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

其实，上面提到的二维Tensor点积标量、二维Tensor点积行向量，都是发生在高维向量和低维向量之间的，也可以看作是broadcast.

torch.mul

官方文档关于torch.mul的介绍. 用法与*乘法相同，也是element-wise的乘法，也是支持broadcast的。

下面是几个torch.mul的例子.

乘标量

>>> a = torch.ones(3,4)
>>> a
tensor([[1., 1., 1., 1.],
        [1., 1., 1., 1.],
        [1., 1., 1., 1.]])
>>> a * 2
tensor([[2., 2., 2., 2.],
        [2., 2., 2., 2.],
        [2., 2., 2., 2.]])

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

乘行向量

>>> a = torch.ones(3,4)
>>> a
tensor([[1., 1., 1., 1.],
        [1., 1., 1., 1.],
        [1., 1., 1., 1.]])
>>> b = torch.Tensor([1,2,3,4])
>>> b
tensor([1., 2., 3., 4.])
>>> torch.mul(a, b)
tensor([[1., 2., 3., 4.],
        [1., 2., 3., 4.],
        [1., 2., 3., 4.]])

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

乘列向量

>>> a = torch.ones(3,4)
>>> a
tensor([[1., 1., 1., 1.],
        [1., 1., 1., 1.],
        [1., 1., 1., 1.]])
>>> b = torch.Tensor([1,2,3]).reshape((3,1))
>>> b
tensor([[1.],
        [2.],
        [3.]])
>>> torch.mul(a, b)
tensor([[1., 1., 1., 1.],
        [2., 2., 2., 2.],
        [3., 3., 3., 3.]])

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

乘矩阵

例1：二维矩阵 mul 二维矩阵

>>> a = torch.tensor([[1, 2], [2, 3]])
>>> torch.mul(a,a)
tensor([[1, 4],
        [4, 9]])

 
 

 
 
  • 1
  • 2
  • 3
  • 4

例2：二维矩阵 mul 三维矩阵（broadcast）

>>> a = torch.tensor([[1, 2], [2, 3]])
>>> b = torch.tensor([[[1,2],[2,3]],[[-1,-2],[-2,-3]]])
>>> torch.mul(a,b)
tensor([[[ 1,  4],
         [ 4,  9]],

    <span class="token punctuation">[</span><span class="token punctuation">[</span><span class="token operator">-</span><span class="token number">1</span><span class="token punctuation">,</span> <span class="token operator">-</span><span class="token number">4</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token operator">-</span><span class="token number">4</span><span class="token punctuation">,</span> <span class="token operator">-</span><span class="token number">9</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">)</span>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

torch.mm

官方文档关于torch.mm的介绍. 数学里的矩阵乘法，要求两个Tensor的维度满足矩阵乘法的要求.

例子：

>>> a = torch.ones(3,4)
>>> b = torch.ones(4,2)
>>> torch.mm(a, b)
tensor([[4., 4.],
        [4., 4.],
        [4., 4.]])

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

torch.matmul

官方文档关于torch.matmul的介绍. torch.mm的broadcast版本.

例子：

>>> a = torch.ones(3,4)
>>> b = torch.ones(5,4,2)
>>> torch.matmul(a, b)
tensor([[[4., 4.],
         [4., 4.],
         [4., 4.]],

    <span class="token punctuation">[</span><span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">,</span>

    <span class="token punctuation">[</span><span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">,</span>

    <span class="token punctuation">[</span><span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">,</span>

    <span class="token punctuation">[</span><span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
     <span class="token punctuation">[</span><span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">,</span> <span class="token number">4</span><span class="token punctuation">.</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">]</span><span class="token punctuation">)</span>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

同样的a和b，使用torch.mm相乘会报错

>>> torch.mm(a, b)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
RuntimeError: matrices expected, got 2D, 3D tensors at /pytorch/aten/src/TH/generic/THTensorMath.cpp:2065
贪狼切
关注
专栏目录
详解torch.Tensor的4种乘法
09-16
主要介绍了详解torch.Tensor的4种乘法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
torch.Tensor的几种乘法介绍
anshiquanshu的专栏
03-09 9524
点乘 a与b做*乘法，原则是如果a与b的size不同，则以某种方式将a或b进行复制，使得复制后的a和b的size相同，然后再将a和b做element-wise的乘法。 * 标量 Tensor与标量k做*乘法的结果是Tensor的每个元素乘以k（相当于把k复制成与lhs大小相同，元素全为k的Tensor）。 >>> a = torch.ones(3,4) >>> a tensor([[1., 1., 1., 1.], [1., 1., 1., 1.
PyTorch框架--torch.Tensor 和 torch.tensor
最新发布
松门一枝花
09-25 563
在中，和都用于生成新的张量，但二者之间有一些区别。一、 torch.Tensor和torch.tensor的区别首字母大小写区别：torch.Tensor：Tensor是一个类，代表PyTorch底层的张量操作和方法。torch.tensor：tensor是一个函数，用于创建张量对象。默认参数区别：torch.Tensor：使用它创建的张量对象没有指定数据类型，因此其默认为浮点数类型（float32），其值取决于内存中的随机数据。
torch.Tensor乘法
Lytrepeat的博客
11-12 1390
a = torch.Tensor(np.random.normal(0,1,(2,1,1,1))) b = torch.Tensor(np.random.normal(0,1,(2,3,4,4))) c=a*b c是由a和b点乘得来，先将a扩张成b的形状，数字逐位点乘。 a = torch.Tensor(np.random.normal(0,1,(2,3))) b = torch.Tensor(np.random.normal(0,1,(3,4))) c=torch.mm(a,b) 二维矩阵乘法，符合数
torch.tensor的乘法运算
Mr____Cheng的博客
07-03 1684
说明： 这里的tensor不涉及高维张量，即为一维张量或二维张量。 1、a*b 1.1、a和b同行同列 张量中各元素对应相乘。 a = torch.tensor([[1,2],[2,3],[3,4]]) b = torch.tensor([[1,2],[2,3],[3,4]]) print(a*b) 输出： tensor([[ 1, 4], [ 4, 9], [ 9, 16]]) 2、torch.mm(a,b) 数学中的矩阵相乘。 a = torch.tensor.
tpye（torch.tensor）
11-05
`torch.tensor`支持各种数学运算，如加、减、乘、除、矩阵乘法等，同时也支持GPU加速计算。在深度学习中，`torch.tensor`是非常重要的数据类型，因为神经网络的输入和输出通常都是`torch.tensor`类型的数据。 `...
torch.tensor
05-02
tensor = torch.tensor([[1, 2], [3, 4], [5, 6]]) print(tensor) ``` 输出： ``` tensor([[1, 2], [3, 4], [5, 6]]) ``` 可以看到，这个张量包含3行2列的整数。我们还可以通过指定dtype（数据类型）来创建具有...
torch.tensor的操作
08-23
- 通过传入一个列表或者NumPy数组创建张量：`tensor = torch.tensor([[1, 2, 3], [4, 5, 6]])` - 通过指定形状创建一个全零张量：`zeros = torch.zeros((2, 3))` - 通过指定形状创建一个全一张量：`ones = torch....
torch中tensor的乘法运算——matmul
yyf_1998的博客
12-27 2352
乘法运算 torch.matmul方法 torch.matmul(input, other, *, out=None)→ Tensor 维度相同的情况 If both tensors are 1-dimensional, the dot product (scalar) is returned. 均为1维tensor，则返回点积(标量)。 If both arguments are 2-dimensional, the matrix-matrix product is returned. 如果两
Tensor的三种乘法
欢迎关注，共同进步！
12-04 3806
torch.mul(a,b) 实现矩阵a和矩阵b的对位相乘，要求两矩阵各维度元素个数完全一致。 torch.mm(a,b) 实现矩阵相乘，a、b维度符合矩阵相乘的规则。 torch.matmul(a,b) 实现带有广播机制的乘法，低维tensor可以依据矩阵乘规则自动适配到高维。 ...
【笔记】torch 乘法总结
_Ronnie_的博客
05-07 3861
【笔记】torch 乘法总结 一、乘号(*) 和 torch.mul() element-wise 即对应元素相乘 例子： >>> a = torch.randn(2,3) >>> b = torch.randn(2,1) >>> res = a * b >>> res tensor([[-0.9672, -0.1052, 0.1392], [-0.8552, 0.8967, -0.6433]]) 特别地，如果是（
torch 乘法
叶子的博客
11-27 6424
1、对应元素相乘 a = torch.tensor([[1, 2], [2, 3]]) b = torch.tensor([[1, 2], [2, 3]]) print(a*b) ''' tensor([[1, 4], [4, 9]]) ''' a = torch.tensor([[1, 2], [2, 3]]) b = torch.tensor([[[1, 2], [2, 3]],[[1, 2], [1, 2]]]) print(b.shape) print(a*b) 2、数学里的.
pytorch tensor 乘法运算汇总与解析
热门推荐
zhuguiqin1的专栏
09-17 1万+
元素一一相乘 该操作又称作 “哈达玛积”, 简单来说就是 tensor 元素逐个相乘。这个操作，是通过 * 也就是常规的乘号操作符定义的操作结果。torch.mul 是等价的。 import torch def element_by_element(): x = torch.tensor([1, 2, 3]) y = torch.tensor([4, 5, 6]) return x * y, torch.mul(x, y) element_by_element
torch中的几种乘法。torch.mm, torch.mul, torch.matmul
Running Snail
10-24 5963
一、点乘 点乘都是broadcast的，可以用torch.mul(a, b)实现，也可以直接用*实现。 a = torch.ones(3,4) a tensor([[1., 1., 1., 1.], [1., 1., 1., 1.], [1., 1., 1., 1.]]) b = torch.Tensor([1,2,3]).reshape((3,1)) b tensor([[1.], [2.], [3.]]) torch.mul(a, b) tensor([[1., 1., 1., 1
tensorflow——乘法
weixin_30709929的博客
11-06 556
　　线性代数中，乘法是很重要的运算，具体的矩阵乘法原理可以翻教材，或看一下阮大神的这篇文章：http://www.ruanyifeng.com/blog/2015/09/matrix-multiplication.html。 　　在tensorflow中，经常使用以下几种乘法： 点乘 即常数与向量相乘或向量点乘 sess = tf.Session() a = tf.const...
Pytorch常用乘法函数总结：torch.mul()、*、torch.mm()、torch.bmm()、torch.mv()、torch.dot()、@、torch.matmul()
qq_43629945的博客
04-26 2009
torch.mul() 和 * 等价，为element-wise乘，可广播；torch.mm() 二维矩阵乘法，torch.bmm() 三维批量矩阵乘法，均不可广播；torch.mv(mat, vec) 为矩阵向量乘法，不可广播；torch.dot() 仅支持两个一维向量点积，返回一个标量数字；@ 矩阵乘法，等价于 torch.dot() + torch.mv() + torch.mm()；torch.matmul() 矩阵乘法，与 @ 类似，但它不止一维二维，可扩高维，可广播
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值