......

GPT-3模型出自论文《Language Models are Few-Shot Learners》是OpenAI在2020年5月发布的。

论文摘要翻译：最近的工作表明，通过对大量文本进行预训练，然后对特定任务进行微调（fine-tuning)，在许多NLP任务和基准测试上取得了实质性的进展。虽然这种方法在架构上通常与任务无关，但它对特定任务仍然需要有数千或数万个实例的微调数据集。相比之下，人类通常只能通过几个例子或简单的指令来执行一项新的语言任务，而当前的NLP系统在很大程度上仍然很难做到这一点。在本文中我们表明扩大语言模型的规模大大提高了任务无关的、few-shot的性能，有时与之前最先进的微调方法相比仍具有竞争力。具体来说，我们训练了GPT-3，这是一个具有1750亿个参数的自回归语言模型，比以前的任何非稀疏语言模型大10倍以上，并测试其在few-shot场景下的性能。对于所有任务，GPT-3在没有任何梯度更新或微调的情况下应用，任务和few-shot说明完全通过文本与模型交互。GPT-3在许多NLP数据集上实现了强大的性能，包括翻译、问答和完形填空任务，以及一些需要动态推理或领域自适应的任务，如解读单词、在句子中使用新词或执行三位数算术。同时，我们还讨论了GPT-3在few-shot学习仍然困难的一些数据集，以及GPT-3在大型网络语料库上训练时面临方法论问题的数据集。最后，我们发现GPT-3可以生成新闻文章的样本，人类评估人员很难将其与人类撰写的文章区分开来，我们讨论了这一发现和GPT-3的更广泛的社会影响。
————————————————
版权声明：本文为CSDN博主「beingstrong」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/beingstrong/article/details/130305768