耶鲁：通过教师知识库优化LLM知识蒸馏

📖标题：Using Advanced LLMs to Enhance Smaller LLMs: An Interpretable Knowledge Distillation Approach
🌐来源：arXiv, 2408.07238

摘要

这篇论文介绍了一种新颖的可解释知识蒸馏方法，以提高更经济的、可自主托管的小型LLMs的性能。这些先进的LLMs，如GPT-4或LlaMa 3，在复杂的类人交互中提供卓越的性能。但它们成本高昂，或者对于智能手机等边缘设备来说太大，而且更难以自主托管，导致安全和隐私方面的担忧。我们将这个问题研究应用在构建一个旨在通过目标导向的对话实现高客户满意度的客户服务代理上。与传统的知识蒸馏不同，传统方法中“学生”模型通过微调直接从“教师”模型的响应中学习，而我们的可解释的“策略”教学方法涉及到教师提供策略以改善学生在各种情况下的表现。这种方法在“场景生成”步骤和“改进策略”步骤之间交替进行，创建一个定制的场景库和优化的策略，用于自动提示。该方法只需要黑盒访问学生和教师模型，因此可以在不操作模型参数的情况下使用。在我们的客户服务应用中，该方法提高了性能，并且所学习的策略可以转移到训练集之外的其他LLMs和场景中。该方法的可解释性有助于通过人工审核防范潜在的危害。

🛎️文章简介

🔸研究问题：如何利用大型先进LLM的知识来增强小型经济型LLM的效果。
🔸主要贡献：论文提出了一种可解释的知识蒸馏方法，通过构建一个外部知识库，使小型LLM在推理时可以查询，而无需训练或更新其参数。

📝重点思路

🔺相关工作

🔸知识蒸馏：利用高级模型来增强较弱模型，当前主流方案是强LLM生成数据用于训练弱LLM。
🔸目标对话：较小的LLM在以目标为导向的对话上面临挑战 ①缺乏战略理解影响对话流程 ②忽略多轮对话中上下文相互依赖的多步骤性质 ③缺乏相应的注释数据集

🔺论文方案

🔸场景生成：创建一个由代表性场景和相应策略组成的知识库，这些策略由教师LLM构建，用于指导学生在特定场景中的响应。
🔸策略教学：学生LLM在部署期间通过检索增强生成（RAG）技术查询这个知识库，而无需训练或更新其参数。
🔸目标评估：比较教师模型和学生模型响应上的差异，更新到策略提示中，迭代直至没有差异。

🔎分析总结

🔸在客户服务场景中，配备策略知识库的学生模型在客户满意度方面持续优于使用传统微调方法训练的模型。
🔸学生模型能够有效地适应新的、未见过的场景，并且在从一个上下文（如机票取消）学习到的策略在另一个上下文（如行李丢失索赔）中也显示出效益。
🔸该方法的解释性使得人类可以进行监督和策略知识库的持续改进。

💡个人观点

论文的核心在于通过教师模型构建外挂知识库，弥补学生模式的知识不足，无需参数更新即可适配。

附录