2023-6 通过稳定感知的On-device更新缩放实现Energy-efficient联邦学习

原文标题：Energy-efficient Federated Learning via Stabilization-aware On-device Update Scaling

摘要：

在训练完成之前，设备上进行了大量的计算密集型迭代，这会导致大量的能量消耗。随着这些被训练的模型参数的稳定，这种设备上的训练迭代随着时间的推移逐渐变得多余。

基于当前模型状态和设备异构性，建议扩展从减少迭代中获得的更新结果，作为设备上训练的替代品

基于系统动力学设计了多项式时间在线算法，从根本上平衡了能量消耗和被训练模型质量

1 简介

对于需要数百个模型聚合才能实现模型收敛的FL，每次局部模型更新都需要进一步在设备上迭代执行随机梯度下降(SGD)或批量梯度下降(BGD)，这通常是计算密集型的，并且会消耗大量的能量。由于设备的电池容量通常是有限的，因此在异构设备的网络边缘进行节能联邦学习是迫切需要的。

挑战：

首先，为本地模型更新执行的设备上训练迭代与最终训练的模型质量相当相关。本质上，局部训练迭代的数量会影响用于更新局部模型的梯度。简单地减少局部训练迭代的数量无疑会改变这种梯度和进一步的模型更新。因此，节能的设备上联邦学习应该保持梯度不变，同时减少更多的局部训练迭代。

其次，模型状态是随时间动态变化的，只有在局部训练完成后才能观察到。一方面，通过局部训练时的样本、局部模型的更新方法和局部训练迭代次数来计算用于更新模型的梯度;在每次迭代之后检查模型状态，并考虑终止。