Evolving Knowledge Distillation with Large Language Models and Active Learning

本文是LLM系列文章，针对《Evolving Knowledge Distillation with Large Language Models and
Active Learning》的翻译。

摘要

大型语言模型（LLM）已经在各种NLP任务中展示了非凡的能力。然而，它们的计算成本高得令人望而却步。为了解决这个问题，先前的研究试图通过生成注释数据将LLM的知识蒸馏到更小的模型中。尽管如此，这些工作主要集中在LLM用于文本生成和标记的直接使用上，而没有充分探索其理解目标任务和获取有价值知识的潜力。在本文中，我们提出了EvoKD：进化知识蒸馏，它利用主动学习的概念来交互式地增强使用大型语言模型的数据生成过程，同时提高小域模型（学生模型）的任务能力。与以往的工作不同，我们积极分析学生模型的弱点，然后在分析的基础上合成标记样本。此外，我们还向LLM提供关于学生模型性能的迭代反馈，以持续构建多样化和具有挑战性的样本。对不同的NLP任务，即文本分类和命名实体识别的实验和分析表明了EvoKD的有效性。

1 引言

2 相关工作

3 EvoKD

4 实验

5 结论

在本文中，我们提出了EvoKD：具有LLM和主动学习的进化知识蒸馏，这是一个特别适用于小样本设置的有效框架。我们提示ChatGPT分析学生模型的弱点，然后根据分析生成样本。实验结果证明了EvoKD的有效性，特别是在大多数文本分类数据集上，我们仅用1次就实现了90%的全样本性能。<