AlphaCode——宏观上的推荐(DeepMind)
![在这里插入图片描述](https://img-blog.csdnimg.cn/50250668a1dd4092b2a05503ac1da1c9.png)
14位共同一作,74页论文。
认为CodeX只是做了一个简单的 自然语言-程序语言 的翻译任务,AlphaCode要做一个更难的。输入输出为:
![](https://img-blog.csdnimg.cn/53b01142bbe845efb9e2ee0ee5438f81.png)
方法
流程
![在这里插入图片描述](https://img-blog.csdnimg.cn/b98fc9dce7b74f2db8ef12989e958690.png)
模型训练分为预训练和微调,然后预测阶段先大规模采样(召回)得到一百万,然后聚类和过滤得到1000个(粗排),然后选出10个提交(精排)。
数据集
![在这里插入图片描述](https://img-blog.csdnimg.cn/4a3f64e126c74d469f6ddefac8c586cd.png)
先在Github收集开源代码,经过预处理和清洗后715GB,作为预训练数据集;然后用CodeContests 数据集微调,格式如上图。
模型结构