paper链接:https://arxiv.org/abs/2005.14165
github链接:https://github.com/openai/gpt-3
摘要
通过对大量文本进行预训练,然后对特定任务进行微调,最近的工作证明了在许多NLP任务和基准方面的巨大收获。尽管在结构上通常与任务无关,但是此方法仍然需要特定于任务的微调数据集,该数据集包含成千上万个示例。相比之下,人类通常只能通过几个示例或简单的指令来执行新的语言任务——当前的NLP系统在很大程度上仍难以做到这一点。在这里,我们证明了扩展语言模型可以极大地提高与任务无关的性能,很少出现问题,有时甚至可以通过现有的最新微调方法达到竞争力。具体来说,我们训练了GPT-3(一种具有1750亿个参数的自回归语言模型,比以前的任何非稀疏语言模型多10倍),并在少量测试中测试了其性能。对于所有任务,应用GPT-3无需进行任何梯度更新或微调,而仅通过与模型的文本交互指定任务和少量演示即可。 GPT-3在许多NLP数据集上均具有出色的性能,包括翻译,问题解答和完形填空任务,以及一些需要即时推理或领域适应的任务。
1 介绍
GPT-3主要聚焦于更通用的NLP模型,解决当前BERT类模型的两个缺点:
-
对领域内有标签数据的过分依赖:虽然有了预训练+精调的两段式框架,但还是少不了一定量的领域标注数据,否则很难取得不错的效果,而标注数据的成本又是很高的。
-
对于领域数据分布的过拟合:在精调阶段,因为领域数据有限