Transformer
文章平均质量分 86
TAICHIFEI
上士闻道,勤而行之;中士闻道,若存若亡;下士闻道,大笑之。不笑不足以为道。
展开
-
GPT是什么?直观解释Transformer | 深度学习第5章 【3Blue1Brown 官方双语】
0:00 - 预测,采样,重复:预训练/生成式/Transformer模型3:03 - Transformer 的内部结构6:36 - 本期总述7:20 - 深度学习的大框架12:27 - GPT的第一层:词嵌入为向量(embedding)18:25 - 嵌入空间不仅代表词,还能包含上下文信息20:22 - GPT的最后一层:向量解码为词(Unembedding)22:22 - 带温度的 Softmax 函数26:03 - 下期预告:深入注意力机制。原创 2024-05-02 16:14:57 · 701 阅读 · 1 评论 -
2. 从头搞懂 Transformer模型(代码实现)
让我们深入探讨其中一些主题,包括不同的注意力变体、BERT(来自 Transformers 的双向编码器表示)和 GPT(生成式预训练 Transformer),以及它们的实际应用。让我们将编码器、解码器、注意力机制、位置编码和前馈网络的知识汇集起来,以了解完整的 Transformer 模型是如何构建和运作的。解码器的主要功能是生成输出序列,同时注意到输入序列的相关部分和先前生成的标记。我们使用预训练的词嵌入或在训练过程中学习的嵌入,将输入序列中的每个单词映射到高维向量空间中。原创 2024-05-04 01:04:09 · 1134 阅读 · 0 评论 -
1. 从头搞懂 Transformer模型(图解)
Transformer:Query 和 Key 之间的点积计算出每对词之间的相关性。然后,这种相关性被用作一个 "因子 "来计算所有 Value 向量的加权和。该加权和的输出为注意力分数。Transformer 通过对嵌入向量的学习,使彼此相关的词更加一致。这就是引入三个线性层的原因之一:为 Attention module 提供更多的参数,使其能够通过学习调整词向量。原创 2024-05-01 23:05:10 · 1417 阅读 · 0 评论