Multi-Head Mixture-of-Experts笔记

这篇文章（还是校友），也是和dot product本身没什么关系。讲一讲核心思想

文章在背景中介绍了Sparse Mixture of Experts，因为MH-MoE也是在S-MoE基础上做的，个人感觉其实变动并不大，但我觉得写的很清楚，感谢。

个人感觉这个图画得不够直观，看论文得公式更直观一些。 

​​​

进入正题

核心思想：

每个TOKENQ其实都通过了所有专家，这样每个token都有个对于专家的权重，最后再找对于的专家去做乘法对吗？