- 博客(2)
- 收藏
- 关注
原创 transformer的QKV是如何得到的
假设嵌入向量的维度为d,那么对于输入序列中的每个元素,都可以得到一个d维的嵌入向量表示。其中,Query向量表示当前元素的查询向量,Key向量表示所有元素的关键字向量,Value向量表示所有元素的值向量。这三个向量的计算公式如下:$$\begin{aligned}Q &= W_{Q}E\K &= W_{K}E\V &= W_{V}E\end{aligned}$$其中,E为输入序列中的嵌入向量矩阵,$W_Q$、$W_K$、$W_V$分别为Query、Key、Value向量的权重矩阵。
2023-03-22 16:25:08 3985
原创 self-attention的作用
Self-attention是Transformer模型中的一种重要机制,用于对输入序列中的每个元素进行自注意力计算,并得到每个元素的自注意力表示。
2023-03-22 16:24:30 1343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人