腾讯：利用开放知识增强LLM专业能力

📖标题：Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models
🌐来源：arXiv, 2408.15915

摘要

🔸培养大语言模型（LLM）的专业知识以解决特定领域的任务通常需要对预期的稳定输出进行专门的调整，并校准行为。为了避免人工准备指令数据集和长达数百小时的培训资源带来的巨大成本，开发包括大量低阶自适应（LoRA）模型和指令数据集在内的开放知识是一个很好的起点。然而，现有的模型和数据选择方法侧重于通用功能的性能，而忽视了特定领域部署中暴露的知识差距。
🔸在本研究中，我们建议通过引入少量人类注释样本（即K-shot）来弥合这一差距，以利用开放知识提高LLM的任务专长。具体来说，我们开发了一个高效且可扩展的管道，以经济高效地生成任务专家，其中K-shot数据会干预选择最有前途的专家候选人和与任务相关的指令。构建了一个混合专家（MoE）系统，以充分利用多名专家之间的个人互补知识。我们揭示了教育部系统成功的两个关键，1）坚持K-shot，2）坚持多样性。对于前者，我们确保选择真正具有K-shot问题解决能力的模型，而不是那些盲目猜测的模型。此外，在数据选择过程中，与K-shot共享任务相关上下文的指令被优先考虑。对于后者，我们强调了组成专家的多样性以及在整个模型和数据选择过程中的微调指令的多样性。大量的实验结果证实了我们的方法在跨各种任务利用开放知识方面优于现有方法。代码和模型稍后将发布。

🛎️文章简介

🔸研究问题：如何利用开放知识来提升大语言模型（LLM）在任务专业性方面的能力？
🔸主要贡献：论文提出了一种基于K-shot数据选择和多模型融合的方法，以提高混合专家系统（MoE）在特定任务上的表现。

📝重点思路

🔺相关工作

🔸参数高效微调（PEFT）：仅调整模型参数的某个子集以更好地适应感兴趣的特定任务，包括LoRA低秩适应、P-tuning提示调优和Adapters适配器调优等技术。
🔸MoE：每个专家都擅长处理输入分布空间的特定区域，并且他们的组合决策优于任何专家，因此能够有效地扩展模型以提高泛化能，包括PHATGOOSEH和Arrow等技术。
🔸数据选择：可分为基于质量、基于多样性和基于重要性三种。

🔺论文方案

🔸LoRA模型库：从Huggingface选择了38个覆盖主流任务和领域的知名数据集，逐个训练LoRA模型。
🔸模型选择：根据K-shot数据，遵循推理困惑度、精确匹配准确率和群体多样性三个指标，通过线性算术组合构建的MoE，选择最相关的任务专家。
🔸数据增强：当任务数据很少的时候MoE容易过拟合，通过相似性优先、多样性感知的数据选择策略，用开源数据进行面向任务的数据增强。

🔎分析总结

🔸通过综合考虑性能、推理困惑度和群体多样性选择的模型，优于仅强调单一方面的传统模型。
🔸实验结果表明，所提出的方法在生成特定任务专业知识的MoE系统方面优于现有方法。
🔸消融研究证实了所提出的选择方法，在确定最有前途的模型和适当数据方面的有效性，展示了挖掘开源知识以进行定制技能整合的成本效益管道。

💡个人观点

论文将全面的数据选择集成到任务专业知识的MoE系统中，强调了质量、多样性和重要性在数据和专家选择中的关键作用。

附录