weixin_45225032的博客

本文提出了一个专门为代码更改设计的预训练模型，以便更好地支持开发人员进行软件维护。为此，我们首先收集了一个包含150万+代码更改和提交消息的成对数据的大规模数据集。基于这些数据，我们进行策划五个不同的预训练任务，使模型具备关于代码更改的不同领域知识。我们在三个被广泛研究的任务上对预训练模型CCT5进行微调代码变更和两个特定于代码审查过程的任务。结果表明，CCT5在这些任务上优于传统的深度学习方法和现有的预训练模型。