Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning. “Effective approaches to attention-based neural machine translation.” arXiv preprint arXiv:1508.04025 (2015).
Local attention
原来是上面这篇论文提出的。没看代码实现。
原理简单:
假设1:源序列和目标序列大致单调对齐
Monotonic alignment:encoder的窗口区间【pt-D,pt+D】,pt为中心,窗口根据t移动,decoder的ht只在区间内做attention。有点像CBOW。
假设2:模型能够预测了一个对齐位置
Predictive alignment:通过线性变换(全连接)训练来预测中心位置pt:【0,len(encoder)】。为了支持pt附近的对齐点,设置一个围绕pt的高斯分布对齐权重。离中心越远,权重越小。