人工智能咨询培训老师叶梓 转载标明出处
大模型虽然在广泛的任务上具有通用性,但在面对特定领域的任务时,它们的性能往往不如专门为这些领域训练的模型。传统的知识蒸馏(Knowledge Distillation, KD)方法通过资源密集型的微调过程来提升模型的领域特定能力,但这种方法并不适用于闭源的商业LLMs。为了解决这一问题,清华大学的刘安等人提出了一种名为PANDA(Preference Adaptation for Enhancing Domain-specific Abilities of LLMs)的新方法,旨在通过利用专家模型的响应偏好来增强LLMs的领域特定能力,而无需进行耗时耗资源的微调(fine-tuning),使LLMs能够学习专家模型的偏好,从而提升其在特定任务上的表现。
![](https://i-blog.csdnimg.cn/direct/cfa7de77e52f454e9ee89fefbe1018cc.png)
方法
PANDA方法包含两个主要阶段:学习阶段和推理阶段。在学习阶段,专家模型首先对训练数据进行推断,生成样本,这些样本代表了专家的偏好。然后PANDA根据特定的偏好启发式原则,为每个数据实例创建偏好对。例如,在分类任务中,可以根据专家模型对每个类别输出的logits分布来确定偏好排名,较高的logits值意味着专家模型更倾向于将查询归类于此类别。
接下来大模型(LLMs)被提示生成对专家偏好的解释,这些解释被称为"insights"。这些insights是通过训练数据派生出的,它们构成了"insight pool",即见解池。见解池的目的是存储和组织从专家模型中提取的知识,以便在推理阶段使用。
在推理阶段,PANDA利用见解池检索与当前查询最相关的见解,并使用这些见解通过上下文学习来调整LLMs的偏好,使其与专家模型的偏好一致。这种方法的目标是通过与专家模型的偏好对齐,来增强LLMs在特定任务上的领域特定能力。
尽管PANDA和传统的知识蒸馏(KD)在实现技术上有很大的不同,但它们在每个阶段都具有相似的本质。例如,在传统的KD中,学生模型通过梯度下降来最小化与教师模型输出分布之间的KL散度,而PANDA则通过直接从专家那里获取见解来实现类似的目标。
![](https://i-blog.csdnimg.cn/direct/6855ef8b28fd49c0b113b89dd402448d.png)
从专家偏好中学习仅仅模仿专家模型的行为是不够的。更高级的方法是不仅要记忆专家模型的行为,还要理解其行为背后的逻辑和原因,以及专家模型避免的不良行为。这种深层次的学习可以帮助LLMs更好地理解和适应特定领域的任务。
PANDA的设计灵感来源于强化学习中的人类偏好反馈(RLHF),这是一种首先使用人类偏好数据训练奖励模型,然后利用该模型通过强化学习使LLMs与人类偏好对齐的方法。这种方法启发了PANDA,使其通过学习专家的偏好来提升性能。
PANDA利用LLMs强大的语言理解和生成能力,通过提示(prompting)让模型生成对专家偏好的解释。这个过程涉及到使用简化的提示模板,例如:"专家更倾向于选择A而不是B,请解释专家持有这种偏好的原因。" 这里的A和B代表专家模型对某个查询的两种可能响应,其中对A的置信度高于B。
通过上述过程生成的解释性见解被称为"专家见解"(Expert Insight),它们被用来构建"见解池"(insight pool)。见解池是存储从专家模型中提取的知识的集合,这些知识随后可以在推理阶段用来指导LLMs。
通过从专家模型的偏好中学习,PANDA能够使LLMs适应特定任务,从而提升性能。与直接依赖专家模型相比,PANDA更注重有效利用专家知识,目标是实现更高的性能上限。
![](https://i-blog.csdnimg.cn/direct/44f91e0a73cc4a5abe768d88da1fe4ad.png)
作者首先提出了一个观点,即解决相似问题时采用的策略往往能够相互受益。基于这个观点,PANDA在处理新的查询时,会首先从见解池中检索与当前查询上下文最相关的见解。
在推理阶段,PANDA使用当前查询的上下文作为检索键,从见解池中检索出相关的见解。这种方法与基于自我反思的方法不同,后者可能需要通过试错来提高性能。而PANDA则能够直接利用已有的专家知识,避免了试错过程,从而减少了潜在的交互成本。
PANDA利用LLMs的上下文学习能力,将检索到的见解作为提示的一部分,与当前的查询上下文结合起来。这种结合旨在增强LLMs在完成特定任务时的偏好,使其更符合专家模型的偏好。
通过这种方式,PANDA不仅提高了LLMs在特定任务上的性能,还增强了其泛化能力。这是因为PANDA能够从专家模型的偏好中学到更深层次的知识,并将这些知识应用到新的上下文中,从而提升模型对未知情况的适应性。
PANDA在推理阶段的偏好适配过程,使得LLMs在处理特定领域的任务时,能够更好地对齐专家模型的偏好,从而实现性能上的提升。这种方法相比传统的基于梯度的方法,不需要对大模型进行微调,因此在资源和时间上更为高效。
![](https://i-blog.csdnimg.cn/direct/f991e359c3a146bd8f2007147040d3e6.png)
实验
为了确保实验的公平性和成本控制,作者随机抽取了任务样本,实验中使用的LLM模型是gpt-3.5-turbo-1106。在ScienceWorld中,作者设置了检索到的见解数量为1,在TweetEval中设置为6。这些实验结果表明PANDA能够显著提升LLMs在领域特定任务上的性能。
![](https://i-blog.csdnimg.cn/direct/6a37fc536e844c8aa5d9267021af3a8c.png)
作者使用基准ScienceWorld评估了PANDA在交互式决策任务中的效果,这是一个模拟实验室环境的交互文本模拟平台。该平台具有丰富的动作集,为LLMs在推理、规划和环境适应性方面提供了挑战。ScienceWorld包含多个子房间,如温室、铸造厂和车间,每个房间都提供了不同的环境配置和任务目标。作者随机抽取了每个类别的2个任务,共20个任务进行评估。实验结果显示,PANDA在16个任务中的性能超过了ReAct基线,在10个任务中超过了SayCan基线,并且在9个任务中超过了Reflexion基线。特别是,使用PANDA的ReAct在4个任务中的性能超过了专家模型,显示了PANDA在无需微调的情况下实现从弱到强泛化潜力。
![](https://i-blog.csdnimg.cn/direct/f731451be21444c1a434051196f93c8b.png)
作者使用基准TweetEval评估了PANDA在文本分类任务中的效果,它包含11个不同的Twitter特定分类任务。这些任务包括情感、表情符号、情绪、仇恨、讽刺、冒犯性和立场等分类。TweetEval的特点是样本分布可能不平衡,因此作者使用了宏观平均F1分数作为性能指标。作者主要关注了专家模型持续超越LLMs的任务,以展示PANDA在缩小LLMs和领域特定微调模型之间性能差距方面的潜力。实验结果表明,PANDA显著提高了GPT-3.5-turbo在几乎所有任务中的性能,包括zero-shot、few-shot、zero-shot Chain-of-Thought (ZS-CoT)和few-shot Chain-of-Thought (FS-CoT)四种不同设置。
![](https://i-blog.csdnimg.cn/direct/9266321bc3f1430fbefc36cf6c2d2e56.png)
![](https://i-blog.csdnimg.cn/direct/a0c57044ebe2480eaa05dec7c4d0ef92.png)
消融研究的目的是评估该方法中不同组件的贡献和重要性。通过在ScienceWorld基准的10个任务上进行实验,作者发现PANDA在大多数情况下都优于仅考虑原始偏好的消融案例。这表明PANDA通过收集专家偏好的见解,而不是仅仅依赖于专家模型的原始行为,能够更有效地提升性能。消融实验包括了使用不同数量的专家响应作为学习数据,以及比较了PANDA与其他基线方法的性能差异。
![](https://i-blog.csdnimg.cn/direct/aa9574cd46e742778e7ae5eecd14d413.png)
作者进一步探讨了PANDA在跨领域设置中的泛化能力。通过在ScienceWorld和TweetEval上进行跨任务迁移实验,作者发现PANDA能够在学习一个任务后,在另一个相关但不同的任务上实现正向迁移。例如,在ScienceWorld中,PANDA在一个任务上学到的知识能够在相似但不同的任务上提高性能。在TweetEval中,作者将情绪分类任务中学到的知识迁移到情感分类任务上,同样观察到了正向迁移的效果。
![](https://i-blog.csdnimg.cn/direct/c8d9c9450d92445e8f37a985291f034c.png)
![](https://i-blog.csdnimg.cn/direct/6432c76a1104440a8d73ef17097b8f2b.png)
作者还评估了PANDA在可以使用真实标签的情况下的性能。通过与消融方法进行比较,作者发现使用真实标签的消融方法虽然性能有所提升,但PANDA仍然保持了其优越性。这表明PANDA不仅能够有效地利用专家模型的偏好,还能够从真实标签中提取有价值的知识,即使在专家模型的预测不是完全准确的情况下。
![](https://i-blog.csdnimg.cn/direct/e0795b07c6c3489fb8ac5e9f1d11e7de.png)
作者还探讨了PANDA在不同质量的训练数据上的性能,发现PANDA在训练数据质量较低时仍然能够实现改进,这显示了PANDA在提取泛化知识方面的鲁棒性。
![](https://i-blog.csdnimg.cn/direct/831031e6902c44fcbbb30f50f1020552.png)
实验结果表明,PANDA显著提升了LLMs在文本分类和交互式决策任务上的领域特定能力。特别是在ScienceWorld的16个任务和TweetEval的7个任务上,使用PANDA的LLMs甚至超越了在ScienceWorld的4个任务上训练的专家模型。这一发现突出了探索无需微调的方法来实现从弱到强的泛化潜力。
论文链接:https://arxiv.org/abs/2402.12835
PANDA的代码将在以下GitHub链接公开:GitHub - THUNLP-MT/PANDA