双向注意力模型,尽可能使注意力在两个方向上保持一致
模型的中心思想就是对于相同的training data,使source-to-target和target-to-source两个模型在alignment matrices上保持一致。这样能够去掉一些注意力噪声,使注意力更加集中、准确。
这篇文章胜在idea,很巧妙地想到了让正反向的注意力一致来改进attention。
论文阅读:Agreement-Based Joint Training for Bidirectional Attention-Based Neural Machine Translation
最新推荐文章于 2022-07-04 19:35:48 发布