fedmezo零阶优化算法论文《On the Convergence of Zeroth-Order Federated Tuning for Large Language Models》

第一部分：解决的问题

联邦学习与LLMs的结合：联邦学习（FL）是一种重要的机器学习范式，特别适用于数据分散和隐私保护的场景。大型语言模型（LLMs）在自然语言处理领域取得了显著进展，但其微调过程需要大量计算资源，尤其是在客户端资源有限的情况下，面临巨大挑战。

反向传播的问题：反向传播需存储大量中间激活值，对内存要求高，尤其在LLMs这种高参数模型中，内存消耗极大。

第二部分：算法思路

FedMeZO通过零阶优化（ZOO）替代了传统联邦学习中基于反向传播（BP）的梯度计算方式。

FedMeZO算法：将记忆高效的ZOO方法MeZO与联邦学习结合，形成FedMeZO算法。该算法通过两要点梯度估计器减少训练内存，并利用低秩适应（LoRA）减少通信开销，两者结合，FedMeZO从训练内存层面优化，LoRA从通信成本层面优化，共同实现联邦学习中LLMs微调的高效性、低资源消耗特性。

理论分析：论文分析了FedM