- 博客(2)
- 收藏
- 关注
RSS订阅原创 transformer的QKV是如何得到的
假设嵌入向量的维度为d，那么对于输入序列中的每个元素，都可以得到一个d维的嵌入向量表示。其中，Query向量表示当前元素的查询向量，Key向量表示所有元素的关键字向量，Value向量表示所有元素的值向量。这三个向量的计算公式如下：$$\begin{aligned}Q &= W_{Q}E\K &= W_{K}E\V &= W_{V}E\end{aligned}$$其中，E为输入序列中的嵌入向量矩阵，$W_Q$、$W_K$、$W_V$分别为Query、Key、Value向量的权重矩阵。
2023-03-22 16:25:08
3471
原创 self-attention的作用
Self-attention是Transformer模型中的一种重要机制，用于对输入序列中的每个元素进行自注意力计算，并得到每个元素的自注意力表示。
2023-03-22 16:24:30
1198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人