NLP-预训练模型-2020-NLG：GPT-3【参数量：1750亿（175B）；训练数据量：570GB】

GPT-3依旧延续自己的单向语言模型训练方式，只不过这次把模型尺寸增大到了1750亿，并且使用45TB数据进行训练。同时，GPT-3主要聚焦于更通用的NLP模型，解决当前BERT类模型的两个缺点：

1. 对领域内有标签数据的过分依赖：虽然有了预训练+精调的两段式框架，但还是少不了一定量的领域标注数据，否则很难取得不错的效果，而标注数据的成本又是很高的。
2. 对于领域数据分布的过拟合：在精调阶段，因为领域数据有限，模型只能拟合训练数据分布，如果数据较少的话就可能造成过拟合，致使模型的泛华能力下降，更加无法应用到其他领域。

因此GPT-3的主要目标是用更少的领域数据、且不经过精调步骤去解决问题。

为了达到上述目的，作者们用预训练好的GPT-3探索了不同输入形式下的推理效果：

这里的Zero-shot、One-shot、Few-shot都是完全不需要精调的，因为GPT-3是单向transformer，在预测新的token时会对之前的examples进行编码。

作者们训练了以下几种尺寸的模型进行对比：

实验证明Few-shot下GPT-3有很好的表现：

最重要的是，GPT-3的few-shot还在部分NLU任务上超越了当前SOTA。该论文长达72页（Google T5是53页），第10页之后都是长长的实验结果与分析。

显然，GPT-3的模型参数、训练数据和工作量都是惊人的，论文署名多达31个作者，所有实验做下来肯定也耗费了不少时间。虽然一直都存在对于大模型的质疑声音，但我们确确实实从T5、GPT-3这样的模型上看到了NLP领域的进步，众多业务也开始受益于离线或者线上的BERT。事物的发展都是由量变到质变的过程，感谢科研工作者们的不懈努力和大厂们的巨额投入，奥利给。

如何评价1700亿参数的GPT-3？ - 知乎