local attention

Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning. “Effective approaches to attention-based neural machine translation.” arXiv preprint arXiv:1508.04025 (2015).

转载1
转载2

Local attention

原来是上面这篇论文提出的。没看代码实现。

原理简单：

假设1：源序列和目标序列大致单调对齐

Monotonic alignment：encoder的窗口区间【pt-D，pt+D】，pt为中心，窗口根据t移动，decoder的ht只在区间内做attention。有点像CBOW。

假设2：模型能够预测了一个对齐位置

Predictive alignment：通过线性变换（全连接）训练来预测中心位置pt：【0，len（encoder）】。为了支持pt附近的对齐点，设置一个围绕pt的高斯分布对齐权重。离中心越远，权重越小。