17 | Tensorflow实现多种注意力机制

注意力机制

注意力机制（Attention Mechanism）是一种在深度学习模型中常用的技术，特别是在处理序列数据时，如自然语言处理（NLP）和图像识别领域。它的核心思想是模型在处理信息时能够对输入数据的不同部分赋予不同的关注度或重要性。这种机制使模型能够动态地聚焦于对当前任务最为关键的信息，从而提高了模型处理复杂数据的能力。

工作原理

在没有注意力机制的模型中，所有的输入信息通常以相同的权重被处理，这可能导致模型无法有效地捕捉到数据中的重要特征。引入注意力机制后，模型可以学习到输入数据中哪些部分是更加重要的，因此应该给予更多的注意力。

Q K V

在注意力机制中，query（查询）、key（键）和value（值）是输入的三个部分，用于计算注意力权重和生成输出。这三个部分的来源取决于具体的应用和模型结构。

通常，这三者可以来自输入序列中的不同位置或来自不同的特征表示。在自然语言处理（NLP）中，输入序列通常是文本中的单词或标记。对于文本序列，可以采用以下方式获得这些部分：

1. 查询࿰