Semi-Instruct: Bridging Natural-Instruct and Self-Instruct for Code Large Language Models

最新推荐文章于 2024-10-02 00:23:27 发布

UnknownBody

最新推荐文章于 2024-10-02 00:23:27 发布

阅读量30

点赞数

分类专栏： LLM Daily LLM Instruction 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/138953386

版权

LLM Daily 同时被 2 个专栏收录

218 篇文章 5 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM Instruction

14 篇文章 0 订阅

订阅专栏

本文提出半指导（Semi-Instruct）方法，旨在结合自然指令（Natural-Instruct）和自我指令（Self-Instruct）的优势，用于代码大型语言模型（Code-LLM）的指令调优。自然指令存在多种正确代码但缺乏指令-代码对，而自我指令虽能自动生成配对数据，但多样性不足。半指导通过转换自然指令生成适当的指令-代码对，并通过构建测试用例验证代码正确性。实验显示，半指导方法在性能上显著优于单独使用自然指令或自我指令，并且随着数据规模增加，性能持续提升。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Semi-Instruct: Bridging Natural-Instruct and Self-Instruct for Code
Large Language Models》的翻译。

摘要

指令调优在用于程序合成任务的代码大型语言模型（Code-LLM）中起着关键作用。目前，收集调优数据的两种主要范式是自然指令（人工编写）和自我指令（自动生成）。自然指令包含多种正确的代码，但缺乏指令-代码对，并且存在嵌套单行代码等不正确的代码格式。相反，自我指示会自动生成正确的配对数据。然而，由于生成重复，它的多样性较低，无法确保代码的正确性。为了连接这两种范式，我们提出了半指导。它首先通过一种类似于自指令的方法将不同但不适当的代码从自然指令转换为适当的指令-代码对。为了验证生成代码的正确性，我们设计了一种新的方法来构建测试用例，通过生成用例的输入，并根据自然指令执行正确的代码来获得输出。最后，为了进行指令调优，保留了多种正确的指令代码对。实验表明，半指导显著优于自然指导和自我指导。此外，随着数据规模的增加，性能稳步提高。我们的代码和数据将公开。