机器学习笔记 - 通过一个例子来快速理解自注意力机制/缩放点积注意力机制

自注意力机制（Self-Attention）是深度学习中一种强大的机制，它在自然语言处理和计算机视觉等领域取得了重要的突破。本文将通过一个例子来详细介绍自注意力机制的工作原理，并提供相应的源代码。

首先，让我们从定义注意力开始。注意力机制允许模型在处理序列数据时，为不同的位置分配不同的权重，以便重点关注那些对当前任务更重要的部分。自注意力机制是一种特殊的注意力机制，它将输入序列的不同位置之间的关系考虑在内。

假设我们有一个输入序列X，其中包含N个向量x1, x2, …, xn。自注意力机制的关键在于通过计算每个位置与其他位置之间的相似度得分来确定每个位置的权重。这里我们将介绍一种常用的自注意力机制，即缩放点积注意力（Scaled Dot-Product Attention）。

缩放点积注意力机制通过计算查询（Query）、键（Key）和值（Value）之间的相似度得分来计算注意力权重。下面是缩放点积注意力机制的源代码实现：

import torch
import torch.nn as