Attention Code 参考(一)

1D Attention

基础Attention 参考https://arxiv.org/pdf/1811.05544.pdf

Basic MLP Attention

数学公式：
$$\sigma \left({\mathbf{w}}_2^{\mathbf{T}}\tanh \left(W_1[\mathbf{u};\mathbf{v}]+{\mathbf{b}}_1\right)+b_2\right)$$

stanza中挑出来的代码实现稍微有点不同。

input的size是(batch, dim)明显就是用来匹配的vector u。而context就是被匹配的vector集合。

${\alpha }_j=softmax(W\cdot tanh(W_{u}u+W_v{v}_j+b_v))$ ,就是 u和v的合并的时候是使用的加而不是cat.

$\tilde{\mathbf{h}}$