ChatGPT 的组件：Transformer 模型结构

目录

Transformer 结构

稀疏 Transformer

稀疏 Transfomer 的思想基础

稀疏 Transformer 原理

多头（multi-head）注意力机制

Normalization 正规化

Dropout 机制

ResNet 残差模块

Linear Feed-forward 全连接层

总结

---

第 5 节中，我们介绍了注意力机制的工作原理，它是目前最流行的神经网络模型的灵魂机制。而相应的包裹注意力机制的实体形式，就是 Transformer 模型结构组件，我们本节重点介绍一下 Transformer。

Transformer 结构

Transformer 结构组件主要包括如下模块。

其中，(�1,�2,...,��,...,��)(x1​,x2​,...,xi​,...,xn​)就是上一节中输入的 token embedding，它是一个(������×����������)(ltoken​×lembedding​)大小的矩阵，其中，������ltoken​是输入文本的 token 个数，GPT3 中这个长度是 4097，意味着输入给 GPT3 模型的最长输入文本的 token 数总共可以有 4097 个，而����������lembedding​是每一个 token 的 embedding 维度