大型语言模型作为属性化训练数据生成器

最新推荐文章于 2024-10-14 11:40:57 发布

sam5198

最新推荐文章于 2024-10-14 11:40:57 发布

阅读量700

点赞数

分类专栏： AI人工智能文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/elinkenshujuxian/article/details/131487579

版权

文章介绍了大型语言模型如何通过多样化属性提示生成训练数据，提高NLP任务性能。DeepMind的AlphaCode助力编程，OpenAI的神经定理证明器解决奥数问题，显示AI在数学和编程领域的潜力。数学家如陶哲轩看好AI在数学研究中的未来作用，开源项目如LeanDojo推动机器学习在定理证明的进步。

摘要由CSDN通过智能技术生成

大型语言模型作为属性化训练数据生成器，提出一种使用多样化属性提示的数据生成方法，可以生成具有多样性和属性的训练数据，从而提高了模型的性能和数据生成的效率。

动机：大型语言模型(LLM)最近被用作各种自然语言处理(NLP)任务的训练数据生成器。然而，其通常依赖于简单的类条件提示，这可能限制了生成数据的多样性并继承了LLM的系统偏差。因此，本文研究了使用多样化属性提示(例如，指定长度和风格等属性)进行训练数据生成，有可能产生多样化和具有属性的生成数据。

方法：提出一种使用多样化属性提示的数据生成方法。对于给定的分类任务，首先通过LLM的帮助，以交互式、半自动化的方式识别属性维度及其对应的属性值。然后，通过随机组合属性来生成多样化的提示，替换了通常用于从LLM查询数据的简单类条件提示。

优势：在四个分类任务上，通过测量使用两种情况下训练的模型的性能来实证评估生成的数据集：1）仅在生成的数据集上，和2）在包含真实训练集和生成集的合并数据集上。在这两种情况下，使用AttrPrompt生成的数据集明显优于使用SimPrompt生成的数据集。此外，还展示了AttrPrompt在数据/预算效率和与不同模型大小/各种LLM作为训练数据生成器方法的兼容性方面优于SimPrompt的优势。