本文来自 Ben Dickson
在一篇新论文中,OpenAI的研究人员揭示了Codex的细节,Codex是一种生成软件源代码的深度学习模型。Codex为Copilot提供动力,这是OpenAI和GitHub联合开发的“人工智能配对程序员”工具。副驾驶目前只对有限的用户开放beta测试模式。
这篇论文很有意思,它解释了OpenAI的科学家们设法重新利用他们的旗舰语言模型GPT-3来创建Codex的过程。但更重要的是,这篇论文也阐明了深度学习在编程中的可信度。
“没有免费的午餐”定理
Codex是GPT-3的下一代产物。GPT-3是去年发布的大规模深度学习语言模型,深度学习模型的复杂性通常是通过其参数的数量来衡量的。一般来说,模型的学习能力随着参数的增加而增加。GPT-3有1750亿个参数,比它的前身GPT-2(15亿个参数)多了两个数量级。GPT-3的训练数据集超过600GB,比GPT-2的训练数据集大50多倍。
除了规模上的增长外,GPT-3的主要创新是“few-shot学习”,即执行没有经过训练的任务的能力。介绍GPT-3的文章标题是“语言模型是few-shot学习者”,并指出:“在这里我们表明,扩展语言模型极大地提高了任务无关性、少镜头的性能[重点挖掘],有时甚至达到了现有最先进的微调方法的竞争力。”
基本上,前提是一个在大型文