OpenAI Codex显示了大型语言模型的局限性

 本文来自 Ben Dickson

在一篇新论文中，OpenAI的研究人员揭示了Codex的细节，Codex是一种生成软件源代码的深度学习模型。Codex为Copilot提供动力，这是OpenAI和GitHub联合开发的“人工智能配对程序员”工具。副驾驶目前只对有限的用户开放beta测试模式。

这篇论文很有意思，它解释了OpenAI的科学家们设法重新利用他们的旗舰语言模型GPT-3来创建Codex的过程。但更重要的是，这篇论文也阐明了深度学习在编程中的可信度。

“没有免费的午餐”定理 

Codex是GPT-3的下一代产物。GPT-3是去年发布的大规模深度学习语言模型，深度学习模型的复杂性通常是通过其参数的数量来衡量的。一般来说，模型的学习能力随着参数的增加而增加。GPT-3有1750亿个参数，比它的前身GPT-2(15亿个参数)多了两个数量级。GPT-3的训练数据集超过600GB，比GPT-2的训练数据集大50多倍。

除了规模上的增长外，GPT-3的主要创新是“few-shot学习”，即执行没有经过训练的任务的能力。介绍GPT-3的文章标题是“语言模型是few-shot学习者”，并指出:“在这里我们表明，扩展语言模型极大地提高了任务无关性、少镜头的性能[重点挖掘]，有时甚至达到了现有最先进的微调方法的竞争力。”

基本上，前提是一个在大型文