1D Attention
基础Attention 参考https://arxiv.org/pdf/1811.05544.pdf
Basic MLP Attention
数学公式:
σ(w2Ttanh(W1[u;v]+b1)+b2) \sigma\left(\boldsymbol{w}_{2}^{\boldsymbol{T}} \tanh \left(W_{1}[\boldsymbol{u} ; \boldsymbol{v}]+\boldsymbol{b}_{\mathbf{1}}\right)+b_{2}\right) σ(w2Ttanh(W1[u;v]+b1)+b2)
stanza中挑出来的代码实现稍微有点不同。
input的size是(batch, dim)明显就是用来匹配的vector u。而context就是被匹配的vector集合。
αj=softmax(W⋅tanh(Wuu+Wvvj+bv))\alpha_j = softmax(W \cdot tanh(W_u u + W_vv_j + b_v))αj=softmax(W⋅tanh(Wuu+Wvvj+bv)) ,就是 u和v的合并的时候是使用的加而不是cat.
h~t=tanh(Wc[ct;ht])\tilde{\boldsymbol{h}}_{t}=\tanh \left(\boldsymbol{W}_{\boldsymbol{c}}\left[\boldsymbol{c}_{t} ; \boldsymbol{h}_{t}\right]\right)h~t=tanh(Wc[

本文探讨了1D Attention机制,包括Basic MLP Attention、SoftDotAttention、LinearAttention、DeepAttention和LSTM Attention。通过数学公式和代码示例,详细解析了这些Attention机制的工作原理,并指出它们在LSTM中的应用及潜在改进方向。
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



