torch中的mul()、matmul()和mm()

1.mul()

源码中是这样的。可以看到主要有两个参数是必要的，分别是两个tensor向量。

def mul(input: Union[Tensor, Number], other: Union[Tensor, Number], *, out: Optional[Tensor]=None) -> Tensor: ...

用例子测试一下：

import torch

a = torch.tensor([1, 3])
b = torch.tensor([2, 5])
print(torch.mul(a, b))

输出的结果为
tensor([ 2, 15])

可以发现，mul通过对应位置相乘，得到的值填入tensor向量中，这样需要保证输入的两个向量维度和大小一直

2.matmul()

源码如下，函数参数为两个tensor向量

def matmul(input: Tensor, other: Tensor, *, out: Optional[Tensor]=None) -> Tensor: ...

测试例子：

import torch

a = torch.tensor([1, 3])
b = torch.tensor([2, 5])
print(torch.matmul(a, b))

得出的结果为：tensor(17)

可以看出，matmul是点积乘法，通过行乘列，相加的形式。
假设$a=\left[\begin{array}{cc}{a}_1& a_2\end{array}\right]$，$b=\left[\begin{array}{ccc}{b}_{11}& b_{12}& b_{13}\\ b21& b_{22}& b_{23}\end{array}\right]$
那么，有
$$matmul(a,b)=\left[\begin{array}{ccc}{a}_1\ast b_{11}+a_2\ast b_{21}& a_1\ast b_{12}+a_2\ast b_{22}& a_1\ast b_{13}+a_2\ast b_{23}\end{array}\right]$$

3.mm()

源码如下，输入的参数要求是矩阵tensor向量，要求满足二维tensor，mm()的本质也是点乘

def mm(input: Tensor, mat2: Tensor, *, out: Optional[Tensor]=None) -> Tensor: ...

这里也给出一个例子：

import torch

a = torch.tensor([1, 3])
b = torch.tensor([2, 5])

a = torch.unsqueeze(a, dim=0)
b = torch.unsqueeze(b, dim=0).T
print(a)
print(b)
a = torch.mm(a, b)
print(a)

输出的结果为：

tensor([[1, 3]])
tensor([[2],
        [5]])
tensor([[17]])