最简单直接理解什么是注意力机制？

目录

 

1，什么是注意力机制？

2，为什么注意力机制能快速发展以及它的优势？

 3，注意力机制模型

4，如何学习到权重？

5，注意力机制使用

---

1，什么是注意力机制？

注意模型已经成为神经网络中的一个重要概念，在不同的应用领域得到了广泛的研究。本调查提供了一个结构化和全面的发展概述在建模注意。特别地，我们提出了一种分类法，将现有的技术分成一致的类别。我们回顾了显著的神经结构，其中注意已被纳入，并讨论应用建模的注意显示了显著的影响。最后，我们也描述注意如何被用来改善神经网络的可解释性。

注意力模型(Attention Model, AM)最初是在机器翻译中引入的，现在已经成为神经网络文献中的一个主要概念。作为自然语言处理中大量应用程序的神经体系结构的重要组成部分。

注意力背后的直觉可以用人类的生物系统来最好地解释。例如，我们的视觉处理系统倾向于选择性地关注图像的某些部分，而以一种有助于感知的方式忽略其他不相关的信息。类似地，在涉及语言、言语或视觉的几个问题中，输入的某些部分比其他部分更重要。例如，在翻译和总结任务中，输入序列中只有特定的单词可能与预测下一个单词相关。同样，在图像字幕问题中，输入图像的某些区域可能与生成标题中的下一个单词更相关。

AM通过允许模型动态地关注只有某些部分的输入有助于有效地执行手头的任务。使用AM对Yelp评论进行情感分类的实例如图所示。在这个例子中，调幅员了解到在五个句子中，第一个和第三个句子更相关。
此外，这些句子中的delicious和amazing这两个词对决定复习的情绪更有意义。