大语言模型系列-GPT-3

---

前言

《Language Models are Few-Shot Learners，2020》

前文提到GPT-2进一步提升了模型的zero shot能力，但是在一些任务中仍可能会“胡说”，GTP-3基于此提出了few shot，即预测时给出少量精确案例，提升模型的准确性，同时进一步增大模型。

---

一、GTP-3的改进

1. Larger Model： GPT-3将Transformer堆叠的层数从48层增加到96层，每层有96个注意力头，隐层的维度从1600提升至12888，最大模型参数达到1750 亿（175B）。
2. Larger Dataset：GPT-3 使用了多个数据集，其中最大的是 CommonCrawl，原始未处理的数据达到了 45TB，通过数据清洗工作（LR 分类、去重、加入 BERT、GPT、GPT-2 等数据集），最终得到的数据集大小为570G。
3. 上下文大小 (context size) ：从GPT-2的1024提升到了2048。
4. 注意力机制：引入了 Sparse Transformer 中的 sparse attention 模块（稀疏注意力）。

ps:
sparse