gMLP
论文链接:https://arxiv.org/pdf/2105.08050.pdf
与其说是去掉了self-attn,不如说是另一种形式的self-attn
我们先回一下self-attn是啥?
在Transformer里面,Q*K后得到Attn矩阵,再乘上V,相当于将所有token混合,每个token都由所有token线性表出(突然感觉大学线代里学到的这个词用在这里十分合理),其中,线性表出的矩阵就是Attn矩阵。
所以self-attn实际上就是attn矩阵*V,这个attn矩阵可以由Q*K得到,也可以自己学啊,我记得以前就已经有这样的工作了。
引用一下我之前画的图:
attn矩阵的第二维和Value矩阵的第1维相同,左乘上去即可得到Result矩阵
而在gMLP中,初版是这样:
一个(n, n)的attn矩阵*(n, embedding)的token矩阵,对每个token做自注意力
但作者不满足,改一下,自己乘自己:
用自注意力融合后的自己乘(点乘)自己,相当于啥?不知道。
再魔改一下,先把自己按Channel分两份,一份不变,一份做自注意力,再相乘,就是最终的模块:
当然,分支先做一个归一化,也算有迹可循了,可以看作一个权重矩阵
也有这几种方法的对比实验:
最后发现还是这种Split的方法好。不过为啥参数量会加一点?
顺带补一句,gating是什么意思?
就是门控操作,意思是为每个元素加一个门,来控制这个元素是否应该通过,或者说通过多少。说白了就是点乘一个矩阵对每个元素做映射,但不会做元素间的操作。这里拿归一化+自注意力后的矩阵做gate,感觉没有太好的说法。
值得一提的是,gMLP分支上再叠一个单头自注意力就能进步许多
论文里有这个图我是没看懂:
说是attn矩阵的中间一行(每个值对应对于中间这一个token,128个token的权重),照理说就应该自己最大,也就是最中间的数值最大,其他的各取一些。这里这么多样可能是表达学到了不同的特征?或者这么平滑?