【阅读笔记】Device Sampling for Heterogeneous FederatedLearning: Theory, Algorithms, and Implementation

传统的联邦学习体系结构通过让机器学习训练服务器定期聚合的本地模型，将机器学习分跨工作设备。然而，FedL忽略了当代无线网络的两个重要特征：网络可能包含异构的通信/计算资源，在设备的本地数据分布中可能存在显著的重叠。

---

前言

简要读一下这篇文章，主要是第三部分模型可以借鉴。

---

文献来源：

Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation | IEEE Conference Publication | IEEE Xplorehttps://ieeexplore.ieee.org/abstract/document/9488906/

一、传统联邦学习的架构

在FedL下，设备在其本地数据集上训练模型，通常通过梯度下降，服务器定期聚合本地模型的参数，形成一个全局模型。然后，将这个全局模型转移回设备上，以进行下一轮的本地更新，如图所示。在传统的FedL中，每个设备处理自己收集的数据，并在一个聚合周期内独立运行。然而，随着它的实现扩展到由数百万个异构无线设备组成的网络，这将成为上游设备通信和本地设备处理需求方面的问题。

与此同时，正在成为5G和物联网一部分的设备到设备（D2D）通信可以使数据处理从资源匮乏的设备本地卸载到资源丰富的设备。此外，我们可以预期，对于特定的应用，跨设备收集的数据集将包含不同程度的相似性，例如，在同一区域进行监测的无人机收集的图像。在多个设备上处理类似的数据分布，增加了FedL的开销和提高效率的机会。

在此基础上，本文制定了一个联合采样和数据卸载优化问题，其中期望对模型训练贡献最大化的设备被采样以进行训练参与，而未被选择的设备可以将数据传输到那些期望参与模型训练的设备。该数据卸载是根据节点之间估计的数据差异来执行的，并在观察到传输时进行更新。

二、Small motivating example

图2显示了5辆异构智能汽车与一个边缘服务器通信，训练一个目标检测模型。由于带宽有限，服务器只能利用5辆车中的2辆进行FedL训练，但需要训练该网络中整个数据集的模型代表。每辆汽车的计算能力，即在一个聚合周期内处理过的数据点的数量，显示在其自身的旁边，并且数据相似性图中的边缘权值捕获了汽车的局部数据之间的相似性。在这种分布式场景中，很难计算统计距离度量，可以通过通勤路径和地理接近来估计。此外，在支持d2d的环境中，节点可以与可信的邻居交换小的数据样本，以在本地计算相似性，并将它们报告给服务器。如果服务器对具有最高计算能力的汽车进行采样，即A和B，则由于它们之间的数据相似性较高，采样效率较低。此外，如果它对那些相似度最低的模型进行采样，即D和E，局部模型将基于较低的计算能力，这往往会导致较低的精度

三、分布式机器学习模型（小批量方法近似梯度的参考）

局部损耗：

每个设备通过梯度下降依次最小化其局部损失：

服务器执行一个加权平均：

服务器同步被采样的设备：

寻求优化的全局损失考虑了网络中所有数据点的损失：

 

四、联合采样和卸载优化

具体研究问题及解法略，详见文章链接

五、定义和假设

 

---