📖标题:FANNO: Augmenting High-Quality Instruction Data with Open-Sourced LLMs Only
🌐来源:arXiv, 2408.01323
🛎️文章简介
🔸研究问题:如何利用开源的大语言模型(LLM)高效地生成高质量、多样化和复杂的指令数据?
🔸主要贡献:论文提出了FANNO框架,通过文档预筛选、指令生成和响应生成的结构化流程,自动生成高质量的指令数据集。
📝重点思路
🔺相关工作
🔸指令数据生成:当前主要包括人工专家注释和大型LLM合成两种方法,但成本都比较高。
🔸指令调优:使用指令在广泛的上游任务数据集上训练LLM,然后通过新指令启用新的、未见过的下游任务的通用能力。
🔸数据质量增强:主要集中在指令难度、多样性和正确性等几个关键方面,还可以通过多个LLM和自我反思的协作方法来提高数据质量。
🔺论文方案
🔸FANNO框架:包括三个关键步骤:文档预筛选、指令生成和响应生成。
🔸文档预筛选:包括分割、去重和基于长度的过滤,进一步使用教师LLM和快速社区检测算法增强正确性和多样性。
🔸指令生成:通过种子指令生成和指令增强两个阶段从预先筛选的文档生成指令,前者聚焦任务类型和难度级别,后者聚焦提示模板。
🔸响应生成:通过提示教师LLM生成响应,结合检索增强生成(RAG)和相关文档提供额外信息。
🔸迭代流程:利用标签进行难度平衡,通过UCB引导程序迭代选择高质量数据,并通过迭代指令过滤确保多样性。
🔎分析总结
🔸FANNO框架训练的模型在TruthfulQA指标上显示出显著提升,并在其他三个指标上也有所改进。
🔸FANNO框架在多样性、复杂性和质量上优于其他自动指令标注框架。
🔸通过MT-Bench评估,FANNO模型优于使用Alpaca-GPT4-clean微调的模型,并且在自指导方法上也表现更好。
💡个人观点
论文的核心在于拓展指令的任务覆盖度和难度,并控制生成的质量。
附录