- 博客(2)
- 收藏
- 关注
RSS订阅原创 【学习笔记】Transformer中的query、key与value
在自注意力机制（self-attention）中，查询（query）、键（key）和值（value）是通过对输入特征进行线性变换得到的。对于输入特征序列（例如文本序列或图像特征图），每个位置都有一个对应的原始特征向量。然后，通过乘以权重矩阵来将原始特征向量映射到查询、键和值向量空间。那么这个权重矩阵是怎么来的呢？对于每个位置的输入特征向量，通过与对应的查询矩阵、键矩阵和值矩阵进行矩阵乘法操作，从而分别得到查询向量、键向量和值向量。
2024-04-26 11:32:18
2097
1
原创 【学习笔记】Transformer
我们可以将Transformer模型看成一个黑匣子，在翻译领域，输入一种语言，它将输出另一种语言的翻译。打开中间的黑匣子，我们可以看到，有一个编码组件，一个解码组件，并且二者之间存在联系。编码组件由一堆编码器堆叠而成，解码组件是相同数量的解码器的堆叠。编码器在结构上都是相同的，但不共享权重，也就是权重是不同的，每层分为两个子层：编码器的输入首先流经一个自注意层，这一层能帮助编码器在编码特定单词的时候查看输入句子中的其他单词（后文将详细介绍这一过程）。
2024-04-09 22:03:21
951
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人