深度学习和NLP中的注意力和记忆

深度学习和NLP中的注意力和记忆

一、说明

   深度学习的最新趋势是注意力机制。在一次采访中，现任 OpenAI 研究总监的 Ilya Sutskever 提到，注意力机制是最令人兴奋的进步之一，而且它们将继续存在。这听起来很令人兴奋。但什么是注意力机制？

   神经网络中的注意力机制（非常）松散地基于人类中的视觉注意力机制。人类的视觉注意力得到了很好的研究，虽然存在不同的模型，但它们本质上都归结为能够以“高分辨率”聚焦在图像的某个区域，同时以“低分辨率”感知周围的图像，然后随着时间的推移调整焦点。

   神经网络中的注意力有着悠久的历史，特别是在图像识别方面。示例包括学习将中央凹瞥见与三阶玻尔兹曼机相结合，或使用用于图像跟踪的深度架构学习参加地点。但直到最近，注意力机制才进入通常用于NLP的递归神经网络架构（并且越来越多地用于视觉）。这就是我们将在这篇文章中重点介绍的内容。