OPENCHAT: ADVANCING OPEN-SOURCE LANGUAGE MODELS WITH MIXED-QUALITY DATA

最新推荐文章于 2024-08-23 09:43:08 发布

UnknownBody

最新推荐文章于 2024-08-23 09:43:08 发布

阅读量619

点赞数

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/133990312

版权

LLM 日更专栏收录该内容

516 篇文章 3 订阅

已下架不支持订阅

本文提出OpenChat框架，针对开源大型语言模型，如LLaMA，利用混合质量数据进行改进。通过C-RLFT方法，该框架在无需昂贵的偏好标签情况下，实现对不同数据源的优化。实验表明，openchat-13b在13b开源语言模型中取得最佳性能，且在泛化和稳健性方面表现出色。相关代码、数据和模型可在GitHub上获取。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《OPENCHAT: ADVANCING OPEN-SOURCE LANGUAGE MODELS WITH MIXED-QUALITY DATA》的翻译。

摘要

如今，像LLaMA这样的开源大型语言模型已经出现。最近的发展结合了监督微调（SFT）和强化学习微调（RLFT），以使这些模型与人类目标保持一致。然而，SFT方法平等地对待具有混合质量的所有训练数据，而RLFT方法需要高质量的成对或基于排名的偏好数据。在这项研究中，我们提出了一个新的框架，名为OpenChat，用于推进具有混合质量数据的开源语言模型。具体来说，我们考虑一般的SFT训练数据，由少量专家数据和大量次优数据组成，没有任何偏好标签。我们提出了C（条件）-RLFT，它将不同的数据源视为粗粒度的奖励标签，并学习类条件策略来利用互补的数据质量信息。有趣的是，C-RLFT中的最优策略可以通过单阶段、无RL的监督学习轻松求解，这是轻量级的，避免了昂贵的人类偏好标记。通过在三个标准基准上进行广泛的实验，我们使用C-RLFT微调的openchat-13b在所有13b开源语言模型中实现了最高的平均性能。此外，我们使用AGIEval来验证模型的泛化性能，其中只有openchat-13b超过了基本模型。最后，我们进行了一系列分析࿰

了解本专栏