MBPP数据集分享

来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-3-14

该数据集由Google等的研究人员开发，旨在评估和提升编程模型在基础Python编程任务上的表现。该数据集包含974个编程任务，这些任务由入门级程序员设计，旨在通过自然语言描述来合成简短的Python程序。每个任务都包括一个具体问题的描述、一个解决该问题的Python函数，以及三个用于验证函数正确性的测试用例。这些测试用例以断言（assert）语句的形式编写，确保代码在执行时的正确性。

MBPP数据集有两个版本：完整版、编辑版，后者通过手动检查和编辑，确保了问题的清晰度和测试用例的准确性。数据集是通过众包方式构建的，众包工作者根据给定的指导原则编写问题和解决方案。在研究中，MBPP数据集被用来测试大语言模型在从自然语言描述中生成Python代码的能力，尤其是在处理基础编程任务时的表现。这个数据集不仅为研究者提供了一个平台来开发和测试AI模型，而且对于开发能够辅助编程工作的工具具有重要意义。

相关数据集与论文获取，GZ： AINLPer公众号 回复：MBPP数据集