OpenFedLLM: Training Large Language Models on Decentralized Private Data via Federated Learning

本文是LLM系列文章，针对《OpenFedLLM: Training Large Language Models on Decentralized Private Data via Federated Learning》的翻译。

摘要

经过大量公开数据的训练，大型语言模型（LLM）在各个领域都取得了巨大的成功。虽然更多的数据有助于提高性能，但令人不安的现实是，高质量的公共数据将在几年内耗尽。在本文中，我们为当代LLM提供了一个潜在的下一步：通过联邦学习（FL）对未充分利用的分布式私有数据进行协作和隐私保护LLM训练，其中多个数据所有者在不传输原始数据的情况下协作训练共享模型。为了实现这一点，我们构建了一个简洁、集成且便于研究的框架/代码库，名为OpenFedLLM。它涵盖了用于增强指令跟随能力的联合指令调优、用于与人类价值观保持一致的联合值对齐，以及7种具有代表性的FL算法。此外，OpenFedLLM支持不同领域的训练，我们涵盖了8个训练数据集；并提供全面的评估，其中我们涵盖了30多项评估指标。通过广泛的实验，我们观察到所有FL算法在训练LLM方面都优于局部训练，表明在各种设置下都有明显的性能改进。值得注意的是，在财务基准中，通过应用任何FL算法进行微调的Llama2-7B可以显著优于GPT-4，而通过个人训练获得的模型则不能，这表明客户