GPT系列：Codex【使用GPT-3完成代码自动生成任务】

OpenAI Codex

Evaluating Large Language Models Trained on Code

1. 根据函数名和注释自动补全代码
2. 根据你写的代码，猜出你接下来可能要写的代码
3. 自动补充测试样例
4. 支持多种语言
5. ....

总之，就是可以帮你写代码

简介

1. 提出了一个新问题：代码补全
2. 采用的解决方案是：将GitHub上采集到的Python代码作为数据集重新训练一下GPT-3，他就把这一套权重叫做Codex
3. 一个值得注意的点：
   1. 代码补全这个任务的特殊性：具体来说，传统的NLP任务，生成的结果越接正确答案，那么模型得分越高，但是代码不是这样的，代码但凡有一点点小Bug，都可能造成毁灭性的结果。所以对于代码补全任务，判断生成代码的正确与否就是使用的单元测试（unit test）。---所以对于代码补全任务需要新的评估指标和数据集。

评估

评估指标---pass@k

NLP中最常见的评估方法是BLUE score（bilingual evaluation understudy）即：双语互译质量评估辅助工具。BLEU的设计思想：机器翻译结果越接近专业人工翻译的结果，则越好。BLEU算法实际上就是在判断