使用CodeGen进行程序综合推理

Program Synthesis with CodeGen — ROCm Blogs (amd.com)

CodeGen是基于标准Transformer的自回归语言模型家族，用于程序合成，正如作者所定义的，它是一种利用输入-输出示例或自然语言描述生成解决指定问题的计算机程序的方法。

我们将测试的特定CodeGen模型是在一组包含71.7B个Python编程语言标记的数据上进行微调的。要深入了解CodeGen的内部工作原理，我们建议用户查看Salesforce的这篇论文。

在本文中，我们将使用CodeGen进行几个推理示例，并演示它如何与AMD GPU和ROCm（Radeon Open Compute）无缝兼容地工作。