pytorch----一个高维矩阵乘法(维度不同的矩阵乘法)引发的血案

论文中公式和具体的实现:

矩阵乘法(即, 所谓内积):

• 代码:  matmul, dot, @
• 公式:  空白

对应元素相乘(点乘, 如果维度不对应, 自动进行广播):

• 代码:  *, multiply

• 公式:  一个圈中间一个点(事实上, 一个圈, 中间一个叉的运算一般不会用到, 因为是外积, 其他地方一般没有)

pytorch中的具体用法, 见下链接:  torch.Tensor的4种乘法_hqinglau的博客 - orzlinux.cn-CSDN博客_tensor.mm

---

背景:  要实现这个矩阵乘法

方案一: 自己低级的实现:每一个维度做for循环

方案二: 师兄的方案, 大佬的实现

方案三: 和义朋兄讨论之后, 实现的方案: torch.matmul()实现

• 即, matmul直接可以实现维度不同的矩阵乘法

(这个在实现meta网络的时候经常想用, 但是每次都卡在, 爆显存)