TaoTaoFu的博客

转载 Attention概述

Part I：背景知识Part II：Attention形式Part III：具体Task分析Part I：背景知识这张图很是出名了，第一个将Attention用在NLP领域的论文，机器翻译，在每一步翻译的时候都关注不同的原文信息。Attention机制可以理解为一种文本聚焦方法，基本思想是对文本分配注意力权重，把注意力集中在相关的文本内容，增加这部分的贡献。Attenti...