ACL 2024 | Parrot（鹦鹉）：增强大语言模型在多轮对话中的指令跟随能力

最新推荐文章于 2024-10-03 06:13:08 发布

Python编程杰哥

最新推荐文章于 2024-10-03 06:13:08 发布

阅读量1k

点赞数 9

文章标签：语言模型 easyui 人工智能 chatgpt 前端 javascript 自然语言处理

本文链接：https://blog.csdn.net/xx_nm98/article/details/141687697

版权

多轮对话是大语言模型与人类互动的主要方式，广泛应用于消费娱乐、生产力工具和创意生成等场景。然而，构建多轮对话能力所需的训练数据人工标注成本高，且难以控制质量和多样性。因此，如何增强大模型的多轮交互能力，一直是业界一项重大技术挑战，其对于大模型研发和落地应用的重要价值不言而喻。

本文介绍了快手「快意」大模型团队和中国人民大学合作，在多轮指令跟随模型训练、数据合成以及评测上所做的系统工作 Parrot（鹦鹉）。Parrot 提出上下文感知的偏好优化策略，引入提问模型构建高质量的多轮指令跟随数据，从而提升大模型多轮指令跟随能力。

在相同配置下，Parrot 使用了约 40k 的训练数据（约为基线模型 Vicuna v1.5 的 32%），但相较于基线模型实现了约 7% 的绝对性能提升。该工作于近期被自然语言处理顶级会议 ACL 2024 录用为主会论文。

论文题目：

Parrot: Enhancing Multi-Turn Instruction Following for Large Language Models

论文作者：

Yuchong Sun, Che Liu, Kun Zhou, Jinwen Huang, Ruihua Song, Wayne Xin Zhao, Fuzheng Zhang, Di Zhang, Kun Gai

论文链接：

https://arxiv.org/pdf/2310.07301

多轮对话是人们与大语言模型（LLM）进行互动的主要方式，LLM 的多轮指令跟随能力是衡量其效果的关键指标。然而，目前业界大部分现有研究对于 LLM 在遵循多轮指令方面的能力——包括训练方法、训练数据集和评估基准都未给予足够的关注，这导致模型在单轮评测上表现良好，但在实际应用中效果不够理想。

这篇论文提出了 Parrot（鹦鹉）模型，一种旨在增强 LLM 在多轮交互中遵循指令能力的系统性方案。Parrot 创新的提出了上下文感知的偏好优化策（CaPO）、并基于训练提问模型来收集多轮指令微调数据，提升了 LLM 处理复杂多轮交互的能力。作者还建立了一个新的多轮基准测试 MT-Bench++，为量化评估 LLM 的多轮指令遵循能力提供了基准。

01.研究背景

多数开源的大语言模型（LLM）在单轮交互中表现出色，在一些评测基准上已经接近或超过了 ChatGPT、GPT-4。然而，在现实世界的应用场景中，用户与 LLM 通常需要进行多轮次对话来交换信息，模型不仅需要理解单一指令，还要在此基础上理解和遵循连续的指令。但是很多现有研究和评测基准都忽略了 LLM 在多轮指令跟随方面的表现，从而导致在实际应用中的模型效果不够理想。[5] 现有工作的不足主要表现在以下三个方面：

训练方法方面，大部分现有工作直接使用 SFT 对模型进行指令微调，这种方式没有针对性地对多轮指令上下文的复杂关系进行优化。尤其是模型在应对包含指代、省略等的复杂指令时，可能导致模型上下文理解能力不足或者产生上下文幻觉。

在这里插入图片描述

▲ 图1: Parrot-Ask 合成多轮数据

训练数据方面，现有的多轮数据集通常轮次很短，比如常用的 ShareGPT 约 60% 的数据都在三轮以内。一些合成的多轮数据集使用 ChatGPT 或 GPT-4 来模拟用户，并通过迭代式对话来收集多轮数据，但是这些合成的指令和真实用户指令的分布差异很大，特别是缺少如图 1 所示的真实用户对话中的复杂特征，如指代、省略、口语化等等。

评测基准方面，常用的 MT-Bench 基准虽然包含了八种类别的指令，但只能评测两轮的指令遵循能力。而实际应用中用户与 LLM 的交互可能会远远超过 2 轮，这导致 MT-Bench 不足以评测 LLMs 的多轮指令跟随表现。

针对上述问题，作者设计了上下文感知的强化训练策略，提出了一套高效的多轮数据收集方法，最后通过所构建的包含 8 轮次的多轮指令跟随评测集 MT-Bench++，系统地研究了如何增强和评估大语言模型（LLM）的多轮指令遵循能力。

02.方法

在这里插入图片描述

▲ 图2：Parrot 框架图

多轮数据收集：

▲ 表1：Parrot 数据集和其他数据集的比较

首先，如图2（a）所示，作者通过训练 Parrot-Ask 模型来自动生成类似于人类的多轮指令序列。作者利用真实用户和 ChatGPT 的对话记录数据（如 ShareGPT）来训练 Parrot-Ask 模型，让其从真实数据中学习真实用户的提问风格，从而更好地模拟人类来提出有上下文针对性的问题。

这一训练过程与传统的指令微调实现相反，Parrot-Ask 基于对话历史来预测用户的下一个问题，即在问题令牌上计算损失。在完成 Parrot-Ask 的训练后，作者让它与 ChatGPT 持续交互，并限定最大交互轮次为 10，从而收集了 Parrot-40K 数据集。经过后处理过滤等策略，该数据集的平均对话轮次为 8.7 轮。

上下文感知偏好优化：

其次，作者提出了上下文感知偏好优化策略（CaPO）来增强模型利用对话上下文信息的能力。如图 1（b）所示，通过选择对上文具有强依赖的指令（如省略、指代等），构建相应负样本来模拟 LLM 常见的上下文感知退化现象：

忽略上下文：通过让 ChatGPT 生成回复时不考虑对话历史，模拟当语言模型没有参考对话历史时可能产生的错误回复。
上下文幻觉：首先提示 ChatGPT 猜测指代词或省略所指的是什么，然后基于它的猜测生成回应。这种策略模拟了语言模型在缺乏足够的指代省略推理能力，因此产生幻觉的错误情况。
上下文误解：指示 ChatGPT 从对话历史中选择不相关的信息，并强制模型误解它，来为当前查询中的省略或指代信息生成回应。这种方法模拟了语言模型错误推理指代省略等信息导致的错误。

基于上述三种策略，作者构建了 30K 正-负例 CaPO 训练样本对。接下来，这些数据用于通过直接偏好优化（DPO）算法，来在 SFT 后的 LLM 基础上进一步强化模型在多轮交互中的上文感知和利用能力。通过以上优化，最终得到了增强多轮交互能力的 Parrot-Chat 模型。

03.实验

▲ 表2：MT-Bench++ 中关于经济主题的八个问题

为了评估 Parrot 方法在多轮交互中的有效性，作者扩展 MT-Bench 形成了包含八个问题的评测集 MT-Bench++。作者要求 MT-Bench++的标注员构建具有挑战性、上文相关性和多样性的问题，来更好地评价 LLM 的多轮交互能力。与 MT-Bench 一样，作者使用 GPT-4 按照【1-10】打分的方式进行评测。

▲ 表3：Parrot-Chat 和基线模型的性能比较

Parrot-Ask 和 Parrot-Chat 采用了 LLaMA-2-13B 验证方案的有效性，与现有的基于 LLaMA-2-13B 基座微调的开源对话模型，包括 Baize、UltraLM、Vicuna 以及 LLaMA-2-13B-Chat 相比，Parrot-Chat 即使在没有应用 CaPO 策略的情况下，已经在 MT-Bench 基准的所有评估指标上超越了其他模型。

引入 CaPO 策略后，Parrot-Chat 在 MT-Bench 以及 MT-Bench++ 的整体表现上进一步显著提高，特别是在 MT-Bench 的第二轮，以及 MT-Bench++ 的第三到第五轮中，显示出 CaPO 策略在提升模型处理复杂上下文信息方面的效果。尽管 OpenAI 的 ChatGPT 和 GPT-4 在性能上领先，但 Parrot-Chat 作为一个开源模型，仅使用 40K 样本的 Parrot-40K 数据集，便展现出相较于开源模型的卓越性能，进一步证明了 Parrot 方法的有效性。

▲ 表4：消融实验

作者进一步进行了消融实验，在使用同样 20K 数据的情况下，用 Parrot-Ask 收集的数据训练得到的模型超过了 UltraChat 和 ShareGPT。表明相比于用 ChatGPT 模拟用户，利用 Parrot-Ask 可以收集到更高质量的多轮指令微调数 [7] 据，带来约 3.5% 的性能提升。同时对比 ShareGPT，更多轮次的交互也带来了约 1.8% 的性能提升。另外，作者提出的三种负面响应的构造策略都是有效的，而组合这三种策略带来了 2.4% 的提升。

总结

Parrot 通过提出 CaPO 训练策略以及新的多轮指令数据合成方法，提升了 LLMs 在多轮交互中的指令遵循能力。尽管存在数据集规模有限和依赖 ChatGPT 进行数据收集与评测的局限性，本文希望能为推动 LLMs 在多轮对话领域的研究和应用带来帮助。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述