无线网络中的联邦学习：优化模型设计与分析

关注公众号，发现CV技术之美

本篇分享论文『Federated Learning over Wireless Networks: Optimization Model Design and Analysis』，无线网络中的联邦学习：优化模型设计与分析。

详细信息如下：

• 论文链接：https://ieeexplore.ieee.org/document/8737464

• 代码链接：https://github.com/IIT-Lab/OnDevAI

      01      

背景与引言

联邦学习基于数据隐私前提，并且拥有现代强大的处理器和低延迟的移动边缘网络支持，然而无线信道的不确定性和具有异构功率约束的移动设备尚未在联邦学习中得到充分探索。这些问题尤其影响到如下方面：

1. 计算和通信延迟由学习准确度水平决定；

2. 联邦学习时间和移动设备能耗之间的关系。

通过将无线网络上的联邦学习公式化为一个优化问题FedL来解决，作者利用问题结构将FedL分解并转换为三个凸子问题，并通过描述所有子问题的封闭形式解决方案来获得全局最优解，从而获取最优FedL学习时间、准确度水平和移动设备能量成本。

一方面，联邦学习与其他机器学习方案类似，联邦学习最关键的性能指标之一是收敛到预定义准确度水平所需的学习时间。然而，与传统的机器学习方法不同，联邦学习时间不仅包括移动设备(UE)的计算时间还包括通信时间(取决于移动设备的信道增益和更新数据大小)。

因此，第一个问题是：UE是否应该在计算上花费更多时间以实现高学习精度和更少通信更新，反之亦然？另一方面，由于参赛者资源有限，如何分配UE的计算和传输功率等资源以最大限度地降低能耗是主要关注的问题。因此，第二个问题是：如何在最小化联邦学习时间和UE能源消耗这两个相互冲突的目标之间取得平衡。

为了解决这些问题，对于基于无线网络的联合学习问题设计和分析，具体可概括为：

1. 提出了基于无线网络的联邦学习问题FedL，该问题包括两个方面的权衡 (1)使用Pareto效率模型的学习时间与UE能耗；(2) 通过寻找最优的学习精度参数来确定计算与通信学习时间。

2. 利用变量分解方法将FedL分解为三个凸子问题，所有子问题的组合解可以提供FedL的全局最优解；

3. 进一步提供了广泛的数值结果来检验：UE异构性的影响、UE能量成本与系统学习时间之间的关系以及计算与通信时间的比例对最佳精度水平的影响。

      02      

FedL解决方案

我们考虑由一个基站(BS)和N个UE的集合组成的无线多用户