Attention Code 参考(一)

本文探讨了1D Attention机制,包括Basic MLP Attention、SoftDotAttention、LinearAttention、DeepAttention和LSTM Attention。通过数学公式和代码示例,详细解析了这些Attention机制的工作原理,并指出它们在LSTM中的应用及潜在改进方向。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1D Attention

基础Attention 参考https://arxiv.org/pdf/1811.05544.pdf

Basic MLP Attention

数学公式:
σ(w2Ttanh⁡(W1[u;v]+b1)+b2) \sigma\left(\boldsymbol{w}_{2}^{\boldsymbol{T}} \tanh \left(W_{1}[\boldsymbol{u} ; \boldsymbol{v}]+\boldsymbol{b}_{\mathbf{1}}\right)+b_{2}\right) σ(w2Ttanh(W1[u;v]+b1)+b2)

stanza中挑出来的代码实现稍微有点不同。

input的size是(batch, dim)明显就是用来匹配的vector u。而context就是被匹配的vector集合。

αj=softmax(W⋅tanh(Wuu+Wvvj+bv))\alpha_j = softmax(W \cdot tanh(W_u u + W_vv_j + b_v))αj=softmax(Wtanh(Wuu+Wvvj+bv)) ,就是 u和v的合并的时候是使用的加而不是cat.

h~t=tanh⁡(Wc[ct;ht])\tilde{\boldsymbol{h}}_{t}=\tanh \left(\boldsymbol{W}_{\boldsymbol{c}}\left[\boldsymbol{c}_{t} ; \boldsymbol{h}_{t}\right]\right)h~t=tanh(Wc[

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值