python的基本用法--矩阵乘法与转置

python的基本用法–矩阵乘法与转置

一，对应点相乘。

x.mul(y) ，即点乘操作，点乘不求和操作，又可以叫作Hadamard product；点乘再求和，即为卷积。

二，矩阵相乘，

x.mm(y) ， 相乘的两个矩阵大小需满足： (i, n)x(n, j)。

1. 二维矩阵乘法 torch.mm()

torch.mm(mat1, mat2, out=None)

2. 三维带batch的矩阵乘法 torch.bmm()

由于神经网络训练一般采用mini-batch，经常输入的时三维带batch的矩阵，所以提供

torch.bmm(bmat1, bmat2, out=None)

该函数的两个输入必须是三维矩阵并且第一维相同（表示Batch维度）， 不支持broadcast操作。

3. 多维矩阵乘法 torch.matmul()

torch.matmul(input, other, out=None)

支持broadcast操作，使用起来比较复杂。针对多维数据 matmul() 乘法，可以认为该乘法使用使用两个参数的后两个维度来计算，其他的维度都可以认为是batch维度。假设两个输入的维度分别是input(1000×500×99×111000×500×99×11), other(500×11×99500×11×99)那么我们可以认为torch.matmul(input, other, out=None)乘法首先是进行后两位矩阵乘法得到(99×11)×(11×99)⇒(99×99)(99×11)×(11×99)⇒(99×99) ，然后分析两个参数的batch size分别是 (1000×500)(1000×500) 和 500500 , 可以广播成为 (1000×500)(1000×500)， 因此最终输出的维度是(1000×500×99×991000×500×99×99)。

4. 矩阵逐元素(Element-wise)乘法 torch.mul()

torch.mul(mat1, other, out=None)

其中 other 乘数可以是标量，也可以是任意维度的矩阵， 只要满足最终相乘是可以broadcast的即可。

5. torch.einsum()

transpose和permute中转置过程理解

transpose：只能选择tensor中两个维度进行转置
permute：可以让tensor按照指定维度顺序（维度的个数就是该tensor的维度数）进行转置，按照维度顺序重新进行元素排列