Transformers的Attention技术详解

 Transformers 对人工智能领域，乃至对整个世界都产生了深远的影响。这种模型架构由多个组件构成，但正如提出该架构那篇论文的题目——Attention is All You Need，显然注意力机制（Attention）具有特别重要的意义。本系列的第二部分将主要关注注意力（Attention）及其相关功能，这些功能确保了 Transformer 各组件的良好配合。

图片来自 Vaswani, A. 等人的论文[1]

01 注意力机制（Attention）
在 Transformers 中， attention 指的是一种机制，它能让模型在处理过程中专注于输入（input）的相关部分。可以将其想象成一把手电筒，照亮句子的特定部分，并根据语境（context）判断其在句子中的重要程度。 我认为举几个例子比直接将定义摆出来更有效，通过提供具体的例子，可以激发大脑的思考和理解能力，使大脑有机会自己去理解概念，而不仅仅依赖于定义。

当看到句子“The man took the chair and disappeared”时，我们自然而然地会对句子的不同