24.9.26学习笔记

注意力机制是深度学习领域中的一项重要技术，它最初灵感来源于人类视觉处理系统中的选择性注意现象。在深度学习模型中，注意力机制允许模型在处理信息时，更加关注输入数据的某些部分而忽略其他部分，这可以提高模型对关键信息的捕捉能力，从而提升模型的性能。

注意力机制的基本概念

1. 查询（Query）：表示当前需要处理的信息或上下文。
2. 键（Key）：每个输入元素的标识符，用于确定与查询的相关性。
3. 值（Value）：每个输入元素的实际内容，当该元素被认为与查询相关时，其值将被用来构建输出。

注意力机制的工作原理

• 计算查询与所有键之间的相似度得分（通常使用点积或加权和等方式）。
• 使用softmax函数将这些得分转换为概率分布（即注意力权重），表示每个输入元素的重要性。
• 将这些权重应用于对应的值向量上，得到加权求和的结果作为最终的输出。

注意力机制的计算过程

1. 查询（Query）、键（Key）、值（Value）的生成：首先，模型会使用线性层从输入数据中生成查询、键和值的表示。
2. 计算注意力得分：然后，模型通过计算查询和所有键之间的相似度来得到注意力得分。
3. 归一化：使用softmax函数对注意力得分进行归一化，使得所有得分的和为1。
4. 加权求和：最后，模型根据归一化后的注意力得分对值（Value）进行加权求和，得到最终的注意力输出。

注意力机制的类型

1. 单头注意力（Single-Head Attention）：最简单的形式，每个查询只生成一个注意力权重。
2. 多头注意力（Multi-Head Attention）：将输入分割成多个头，每个头学习输入的不同部分，最终将所有头的输出拼接起来。
3. 自注意力（Self-Attention）：查询、键和值来自同一输入序列。
4. 互注意力（Cross-Attention）：查询来自一个序列，而键和值来自另一个序列。 

单头注意力（Single-Head Attention）

假设你在阅读关于“暹罗猫”的文章时，只关注一个特定的特征，比如“聪明”。你只会在文章中搜索和“聪明”相关的信息，忽略其他所有特征。这就是单头注意力，你一次只关注一个特征。

例子：

• 你只关注句子：“暹罗猫非常聪明。”
• 其他特征如外貌、社交需求等，你都暂时忽略。

多头注意力（Multi-Head Attention）

现在，你不仅想知道“暹罗猫”是否聪明，还想知道它们的外貌特征和社交习性。你同时从三个角度评估信息：智力、外观和社交性。这就是多头注意力，你同时关注多个特征。

例子：

• 你同时关注三个句子：
  • “暹罗猫原产于泰国，非常聪明。”
  • “它们有大耳朵和瘦长的身体。”
  • “暹罗猫喜欢社交，需要主人的陪伴。”

自注意力（Self-Attention）

你在阅读文章时，注意到句子之间相互关联的信息。比如，你读到“暹罗猫非常聪明”，然后又读到“暹罗猫喜欢社交”，你意识到聪明可能和它们社交习性有关。这就是自注意力，文章中的每个句子（元素）都可能与其他句子相关联。

例子：

• 句子1：“暹罗猫原产于泰国，非常聪明。”
• 句子2：“它们有大耳朵和瘦长的身体。”
• 句子3：“暹罗猫喜欢社交，需要主人的陪伴。”
• 你注意到“聪明”可能与“喜欢社交”有关联。

互注意力（Cross-Attention）

假设你现在在读两篇文章，一篇是关于“暹罗猫”的，另一篇是关于“波斯猫”的。你想比较这两种猫的不同之处。你将两篇文章的信息结合起来，关注它们之间的差异。这就是互注意力，你将两个不同序列的信息结合起来。

例子：

• 文章1（暹罗猫）：“暹罗猫原产于泰国，非常聪明。”
• 文章2（波斯猫）：“波斯猫原产于伊朗，以温顺和高贵著称。”
• 你比较这两篇文章，关注两者的原产地和性格特点的不同。

在实际的机器学习模型中，这些注意力机制可以帮助模型更好地理解和处理数据。单头注意力简化了问题，多头注意力增加了模型的丰富性，自注意力让模型能够捕捉序列内部的关系，而互注意力则让模型能够处理和比较两个不同序列的信息。

什么是注意力分数？

在自注意力机制中，注意力分数（Attention Scores）是衡量查询向量（Query）与键向量（Key）之间相似度的值。这些分数用于确定每个查询向量在处理输入序列时应该关注哪些键向量。具体来说，注意力分数越高，表示查询向量与键向量之间的相似度越大，相应的值向量在最终输出中的权重也就越大。