transformer的QKV是如何得到的

在Transformer中，QKV是通过输入序列中每个元素的嵌入向量（embedding）通过三个线性变换得到的。具体来说，对于输入序列中的每个元素，都可以通过一个嵌入矩阵将其转化为一个固定维度的向量表示。假设嵌入向量的维度为d，那么对于输入序列中的每个元素，都可以得到一个d维的嵌入向量表示。然后，对于每个嵌入向量，通过三个不同的线性变换（即Query、Key、Value变换）得到三个向量Q、K、V，这些向量的维度仍然是d。其中，Query向量表示当前元素的查询向量，Key向量表示所有元素的关键字向量，Value向量表示所有元素的值向量。这三个向量的计算公式如下：$$\begin{aligned}Q &= W_{Q}E\K &= W_{K}E\V &= W_{V}E\end{aligned}$$其中，E为输入序列中的嵌入向量矩阵，$W_Q$、$W_K$、$W_V$分别为Query、Key、Value向量的权重矩阵。通过这三个变换，每个元素都会得到一个Query向量、一个Key向量和一个Value向量。这些向量将用于计算该元素与其他元素之间的注意力分数，进而得到注意力权重和自注意力表示。这就是Transformer中使用QKV的方法。