关于attention机制，什么是注意力机制？

目录

背景

---

背景

人类在对外界事物的观察或者进行文章阅读，例如对一张图片，或者看网页的查看，或对一篇文章时进行阅读，人双眼的注意力都会比较倾向观察或者阅读某些重要的局部信息，并把不同区域的局部信息进行整合起来，从而快速建立起对被观察事物或者被阅读文章的整体概览。所以attention注意力机制就是对待处理的图片、文本等数据的局部信息给与不同的权重，从而实现某种任务。所以attention是一种数据处理方法，可以理解为局部信息的权值。

Attention Mechanism最早被应用于图像领域，该思想于一九九几年被提出。

Attention机制最先被应用在NLP任务中，主要是为了优化改进局部信息对预测结果的重要性，从而使得encoder与decoder能够学习到更高的序列信息。

Google 2017年的一篇关于 attention机制的文章：

Attention is all you need   https://arxiv.org/pdf/1706.03762.pdf