pytorch中同维度张量matmul运算

pytorch中同维度张量matmul运算

零维矩阵乘法

零维矩阵乘法实际上就是标量（数的）乘法。

import torch
M01=torch.tensor(3)
M02=torch.tensor(5)
M01.size()
res=M01.matmul(M02)
print(res)

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-8-dedd77923e8a> in <module>
      1 M01.size()
----> 2 res=M01.matmul(M02)
      3 print(res)

RuntimeError: both arguments to matmul need to be at least 1D, but they are 0D and 0D

因此可以知道零维矩阵乘法无法实现，在torch的matmul运算中至少要保证一维度维矩阵。

一维矩阵乘法

一维矩阵的乘法实际上就是数学上两个向量的点积运算，在torch的运算中可以输入行向量不需要转置。

M11=torch.tensor([3,5,7])
M12=torch.tensor([5,1,2])
print(M11.size())
res=M11.matmul(M12)
print(res)

torch.Size([3])
tensor(34)

二维矩阵的乘法

二维矩阵的乘法实际上就是数学上两个矩阵乘法运算。

M11=torch.tensor([[3,5,2],[3,1,2]])
M12=torch.tensor([[2,1,2],[1,4,2]]).t()
print(M11.size())
print(M12.size())
res=M11.matmul(M12)
print(res)

torch.Size([2, 3])
torch.Size([3, 2])
tensor([[15, 27],
        [11, 11]])

三维矩阵的乘法

M11=torch.tensor([[[3,5,2],[3,1,2]],[[3,1,2],[3,1,2]],[[1,2,2],[2,2,3]]])
M12=torch.tensor([[[2,1],[1,4],[2,1]],[[2,1],[1,4],[2,3]],[[2,1],[1,4],[1,2]]])
print(M11.size())
print(M12.size())
res=M11.matmul(M12)
print(res)

torch.Size([3, 2, 3])
torch.Size([3, 3, 2])
tensor([[[15, 25],
         [11,  9]],

        [[11, 13],
         [11, 13]],

        [[ 6, 13],
         [ 9, 16]]])

pytorch在计算三维矩阵的乘法的时候采用矩阵运算的批处理模式，对于dim=0的维度必须保证是一样的（上面第一个3），在该维度下进行批为3的批处理矩阵运算。矩阵运算的为dim=1和dim=2维度形成的二维矩阵，因此必须该两个二维相乘必须满足矩阵的乘法上面的（2$\times$3与3$\times$2）。即在dim=0上从两个张量中各取一个二维矩阵进行运算得到一个结果矩阵，遍历dim=0所有个数将得到一个结果矩阵组成一个新的三维张量。

四维矩阵的乘法

M11=torch.tensor([[[[3,5,2],[3,1,2]],[[3,1,2],[3,1,2]],[[1,2,2],[2,2,3]]],[[[3,5,2],[3,1,2]],[[3,1,2],[3,1,2]],[[1,2,2],[2,2,3]]]])
M12=torch.tensor([[[[2,1],[1,4],[2,1]],[[2,1],[1,4],[2,3]],[[2,1],[1,4],[1,2]]],[[[2,1],[1,4],[2,1]],[[2,1],[1,4],[2,3]],[[2,1],[1,4],[1,2]]]])
print(M11.size())
print(M12.size())
res=M11.matmul(M12)
print(res)

torch.Size([2, 3, 2, 3])
torch.Size([2, 3, 3, 2])
tensor([[[[15, 25],
          [11,  9]],

         [[11, 13],
          [11, 13]],

         [[ 6, 13],
          [ 9, 16]]],


        [[[15, 25],
          [11,  9]],

         [[11, 13],
          [11, 13]],

         [[ 6, 13],
          [ 9, 16]]]])

同样pytorch在计算四维矩阵的乘法的时候采用批处理模式，对于dim=0和dim=1的维度必须保证是一样的。矩阵运算的为dim=3和dim=2维度形成的二维矩阵。即在dim=0和dim=1上从两个张量中各取一个二维矩阵进行运算得到一个结果矩阵，遍历dim=0和dim=1所有个数将得到一个结果矩阵组成一个新的四维张量。

总结

对于同维度张量相乘，对于每个维度而言可以看成两个部分，即批处理遍历部分和二维矩阵乘法部分。二维矩阵乘法表示两个张量最后两维度的大小必须满足矩阵的乘法；批处理遍历部分表示两个张量除去最后两维度外必须相等且批处理计算时由低维度到高纬度依次遍历，形成新张量。输入张量$M_1(m_0,m_1,m_2,...,m_{n-2}=p,m_{n-1}=q)\times M_2(m_0,m_1,m_2,...,m_{n-2}=q,m_{n-1}=r)$
输出张量

$Res(m_0,m_1,m_2,...,m_{n-2}=p,m_{n-1}=r)$