Selective Instruction Tuning for Large Language Models via Uncertainty-Aware Self-Reflection

最新推荐文章于 2024-11-04 22:31:49 发布

UnknownBody

最新推荐文章于 2024-11-04 22:31:49 发布

阅读量60

点赞数

分类专栏： LLM Instruction 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136732388

版权

LLM 日更同时被 2 个专栏收录

828 篇文章 3 订阅

已下架不支持订阅

LLM Instruction

14 篇文章 0 订阅

订阅专栏

本文提出SelectIT，一种利用大型语言模型（LLM）内在不确定性进行高效指令调优的方法，无需额外资源。SelectIT通过自反射选择高质量的指令数据，改善模型性能，并在新数据集Selective Alpaca上得到验证。实验显示其在不同模型和任务中的有效性。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《SelectIT: Selective Instruction Tuning for Large Language Models via Uncertainty-Aware Self-Reflection》的翻译。

摘要

指令调整（IT）对于调整大型语言模型（LLM）以实现以人为中心的交互至关重要。最近的进展表明，仔细选择一小部分高质量的IT数据子集可以显著提高LLM的性能。尽管如此，常见的方法往往依赖于额外的模型或数据集，这增加了成本并限制了广泛采用。在这项工作中，我们提出了一种新的方法，称为SelectIT，它利用了LLM本身的基本能力。具体而言，我们利用LLM中存在的内在不确定性，在不需要额外资源的情况下，更有效地选择高质量的IT数据。此外，我们还介绍了一种新的IT数据集Selective Alpaca，它是通过将SelectIT应用于Alpaca-GPT4数据集而创建的。实证结果表明，使用Selective Alpaca的信息技术可以显著提高模型能力。SelectIT的稳健性也在各种基础模型和特定领域的任务中得到了证实。我们的研究结果表明，更长、计算更密集的IT数据可能是IT的优越来源，为该领域的未来研究提供了有价值的见解。数据、代码和脚本可在https://githu

了解本专栏