北大：LLM高质量数据生成框架FANNO

📖标题：FANNO: Augmenting High-Quality Instruction Data with Open-Sourced LLMs Only
🌐来源：arXiv, 2408.01323

🛎️文章简介

🔸研究问题：如何利用开源的大语言模型（LLM）高效地生成高质量、多样化和复杂的指令数据？
🔸主要贡献：论文提出了FANNO框架，通过文档预筛选、指令生成和响应生成的结构化流程，自动生成高质量的指令数据集。

📝重点思路

🔺相关工作

🔸指令数据生成：当前主要包括人工专家注释和大型LLM合成两种方法，但成本都比较高。
🔸指令调优：使用指令在广泛的上游任务数据集上训练LLM，然后通过新指令启用新的、未见过的下游任务的通用能力。
🔸数据质量增强：主要集中在指令难度、多样性和正确性等几个关键方面，还可以通过多个LLM和自我反思的协作方法来提高数据质量。

🔺论文方案

🔸FANNO框架：包括三个关键步骤：文档预筛选、指令生成和响应生成。
🔸文档预筛选：包括分割、去重和基于长度的过滤，进一步使用教师LLM和快速社区检测算法增强正确性和多样性。
🔸指令生成：通过种子指令生成和指令增强两个阶段从预先筛选的文档生成指令，前者聚焦任务类型和难度级别，后者聚焦提示模板。
🔸响应生成：通过提示教师LLM生成响应，结合检索增强生成（RAG）和相关文档提供额外信息。
🔸迭代流程：利用标签进行难度平衡，通过UCB引导程序迭代选择高质量数据，并通过迭代指令过滤确保多样性。

🔎分析总结

🔸FANNO框架训练的模型在TruthfulQA指标上显示出显著提升，并在其他三个指标上也有所改进。
🔸FANNO框架在多样性、复杂性和质量上优于其他自动指令标注框架。
🔸通过MT-Bench评估，FANNO模型优于使用Alpaca-GPT4-clean微调的模型，并且在自指导方法上也表现更好。

💡个人观点

论文的核心在于拓展指令的任务覆盖度和难度，并控制生成的质量。

附录