pytorch中的乘法

pytorch中的乘法

pytorch中的乘法一共有四种，有*乘，torch.mul，torch.mm，torch.matmul。其中*乘和torch.mul都是element-wise的乘法，也就对应元素相乘。而后两种是数学上的矩阵乘法。

pytorch的广播机制

点积是broadcast的。broadcast是torch的一个概念，简单理解就是在一定的规则下允许高维Tensor和低维Tensor之间的运算。broadcast的概念稍显复杂，在此不做展开，可以参考官方文档关于broadcast的介绍. 在torch.matmul里会有关于broadcast的应用的一个简单的例子。

这里举一个点积broadcast的例子。在例子中，a是二维Tensor，b是三维Tensor，但是a的维度与b的后两位相同，那么a和b仍然可以做点积，点积结果是一个和b维度一样的三维Tensor，运算规则是：若c = a * b, 则c[i,*,*] = a * b[i, *, *]，即沿着b的第0维做二维Tensor点积，或者可以理解为运算前将a沿着b的第0维也进行了expand操作，即a = a.expand(b.size()); a * b。

有时间专门写一下pytorch的广播机制