【待更新】深度学习中的Attention机制之计算机领域中的attention机制

受到《Attention Is All You Need》的启发，探索作为独立研究点的注意力机制
本稿件于2018年12月30号完成第三版编写，共计22102字。现在把它搬到博客里面来，一来交流，二来重温

绪论

注意力是一个经常用在人身上的词汇，指的是人对不同事物会分配不同的关注度。在进化过程中，人类要处理的信息越来越多，但是脑容量要想无限增大是不可能，那么到底是什么使得人类得以适应当今的发展呢？大自然给人类做出的选择是：虽然脑容量没有过多地增大，但是却发展出来能够迅速分析信息，并高效率地选择信息并投注计算能力的机制，这就是注意力，它使得人类可以将所有计算能力放在重要的任务上。更深入的认识神经科学方面的研究将单独整理，这里只做简单的引入。

从上文的大体描述来看。目前的深度学习环境非常适合模拟人脑的注意力：各种神经网络的数据输入量都特别大，并且也不是所有数据都是携带了有用的信息，这时候选择合适的信息来合理地分配计算机的计算能力是非常必要的。

我们能够想到的、最直观的注意力机制是视觉注意力。计算机科学中的Attention机制最早就是在视觉图像领域提出来的（应该是在九几年），真正火起来应该算是2014年google mind团队的这篇论文《Recurrent Models of Visual Attention》，他们用attention机制来进行图像分类。

在神经网络中模拟人的视觉注意力机制已经被深入研究并提出了诸多的模型。所有的这些模型最终都表现为到能够对图像某些区域给予“高分辨率（high resolution）”的聚焦，而对于其它部分给予“低分辨率（low resolution）”的感知，