目录
第 5 节中,我们介绍了注意力机制的工作原理,它是目前最流行的神经网络模型的灵魂机制。而相应的包裹注意力机制的实体形式,就是 Transformer 模型结构组件,我们本节重点介绍一下 Transformer。
Transformer 结构
Transformer 结构组件主要包括如下模块。
其中,(�1,�2,...,��,...,��)(x1,x2,...,xi,...,xn)就是上一节中输入的 token embedding,它是一个(������×����������)(ltoken×lembedding)大小的矩阵,其中,������ltoken是输入文本的 token 个数,GPT3 中这个长度是 4097,意味着输入给 GPT3 模型的最长输入文本的 token 数总共可以有 4097 个,而����������lembedding是每一个 token 的 embedding 维度