本文是LLM系列文章,针对《FedEval-LLM: Federated Evaluation of Large Language Models on Downstream Tasks with Collective Wisdom》的翻译。
摘要
联邦学习(FL)已成为大型语言模型(LLM)协作训练的一种有前景的解决方案。然而,将LLMs整合到FL中带来了新的挑战,特别是在LLMs的评估方面。传统的评估方法依赖于标记的测试集和基于相似性的指标,只覆盖了可接受答案的一个子集,因此无法准确反映LLM在生成任务上的性能。同时,尽管利用先进LLM的自动评估方法具有潜力,但由于需要将数据传输到外部服务器,它们面临着数据泄露的关键风险,并且由于缺乏领域知识,下游任务的性能也不是最优的。为了解决这些问题,我们提出了一个名为FedEval LLM的大型语言模型联合评估框架,该框架在不依赖标记测试集和外部工具的情况下,为下游任务的LLM提供可靠的性能测量,从而确保强大的隐私保护能力。FedEval LLM利用参与者作为裁判的个性化LLM联盟来提供领域知识和集体评估能力,从而与各自的下游任务保持一致,并减轻与单个裁判相关的不确定性和偏见。实验结果表明,个性化评估模型对下游任务的评估能力有了显著提高。当应用于FL时,这些评估模型在精心策划的测试集上与人类偏好和RougeL分数表现出很强的一致性。FedEval LLM有效地克服了传统指标的局限性和对外部服务的依赖,使其成为协作培训场景中LLM评估的有前景的框架。