去中心化联邦学习FL论文阅读11-CSDN博客

本文链接：https://blog.csdn.net/weixin_59875350/article/details/132817815

本文介绍了去中心服务器的完全分布式联邦学习综述。

Federated Learning for Internet of Things: Recent Advances, Taxonomy, and Open Challenges 联邦学习：最新进展、分类和开放挑战

介绍

为了应对大型分布式数据集的挑战，使用分布式机器学习，多台机器分布式的并行训练几个模型以创建模型，分为数据并行和模型并行，分别是划分数据集但模型相同、相同数据数据集训练模型的不同部分，模型并行方法可能不适用于一些应用。

分布式机器学习没有明确解决数据和系统异构性的实际挑战，也不能真正保护用户的隐私，因此引入了FL。联邦学习有以下几类：边缘FL在边缘服务器上进行全局模型聚合，服务于数量设备有限的小区域；基于云的FL在远程云服务器上进行全局模型聚合，主要为大的分布式区域上的大量用户提供服务；共同使用边缘和云服务器来聚合全局模型称为基于边缘云的联邦学习，其主要优势在于允许更多设备参与学习过程，从而提高联邦学习性能。

由于通信资源限制，物联网设备可能无法与基站通信，为了使此类物联网设备能够参与FL，使用协作联邦学习。协作联邦学习允许资源受限的物联网设备将其本地模型发送到附近的设备而不是BS，接收设备将本地模型和接收的本地模型进行本地聚合。然后将本地聚合的模型发送到集中式边缘/云服务器进行全局聚合。

关键指标

安全和隐私：该指标处理在终端设备和聚合服务器之间传输学习模型参数期间的恶意用户攻击。恶意的聚合服务器和终端设备可以从其本地模型更新中推断出其他终端设备的敏感信息。因此，我们必须提出既提供安全性又保护隐私的FL方案。

可扩展性：体现了FL系统在训练过程中融入更多用户，以获得更好的访问性的能力。

量化:最小化局部模型更新的大小，以减少收敛时间。

鲁棒性:联邦学习算法在边缘/云服务器可能出现故障或故障时成功执行FL过程的能力。

稀疏性：根据特定标准从一组大量设备中选择最合适的设备。

现有不足

1）有必要严格根据训练任务的性质，例如移动性，自适应调整局部迭代和全局迭代次数。移动性更高网络中，需要较少全局迭代与更高数量的局部迭代，因为具有高移动性的物联网网络中的终端设备可能无法始终与聚合服务器无缝连接。

2）节点本地数据集大小和分布、计算资源和通信资源方面表现出显著的异质性，在进行实际部署时要考虑这些参数。

3）为了提供了更好的性能，有必要考虑FL终端设备的硬件-软件协同设计。

4）为了避免恶意设备参加，在使用节点的模型更新之前对其进行信任验证：通过基于区块链的身份验证方案、通过轻量级身份验证方案。

5）需要高效的通信资源分配方案。FL的两种通信资源是基于光纤的核心网络（足够的通信资源）和无线电接入网络。FL需要解决无线资源优化问题，主要启发式方法、基于匹配理论的方案和基于博弈论的方案。

6）在多任务FL中，开发新的调度和资源分配方案。例如，应该为关键任务分配比普通任务更多的资源，以加快收敛。

7）分布式FL中，子聚合服务器与终端设备的通信比与集中式聚合服务器的通信更频繁。因此，使用高开销高性能的信道编码方案来实现子聚合服务器和全局聚合服务器之间的可靠通信，因为它们的通信频率较低；使用低开销线性分组码或卷积码来实现终端设备和子聚合服务器之间的通信，因为它们的通信频率很高。

8）可以使用D2D通信辅助分布式FL。具体来说，一组紧密相邻的设备形成聚类，然后通过某些吸引力标准（如社交互动感知）来选择聚类头。每个聚类中的设备以迭代的方式训练本地学习模型并与聚类头进行交换，得到子全局模型。分布式子全局模型的优点在于，它可以重复利用聚类设备已有的频谱资源。所有聚类头的子全局模型更新都发送到基站（BS），从而进行全局模型聚合。最后，基站将全局模型更新发送回聚类头，然后由聚类头将全局模型传播到设备上。

开放性研究挑战

稀疏化

可以通过稀疏化，在严格的无线资源有限条件下实现大量异构设备的FL，只允许部分最合适的设备将模型更新发送到边缘/云服务器。一种方法是选择梯度变化幅度大于特定阈值的设备，然而阈值的最优值的计算很难；另一个方法是根据本地模型准确性，但这受到许多因素的影响。为了解决上述挑战，需要一种新的有效的稀疏化FL协议。

数据异质性感知的聚类

为FL设计一种新的协议来应对数据异构性有必要。一种可能是形成具有统计同质性的设备聚类。在每个聚类中，选择一个聚类头，用于本地学习模型的聚合。聚类头的选择必须遵循吸引力标准，如提高簇的整体吞吐量；另一种可能是社交感知聚类。由于主设备能够从终端设备的本地学习模型中推断出敏感信息，因此需要具有高度社会信任性质的主设备。（在每个聚类中，可以类似于传统的联合学习来计算子全局模型。然后，所有聚类头的子全局模型更新都发送到聚合服务器，进行全局模型聚合。最后，聚合服务器将全局模型更新发送回聚类头，然后由聚类头将全局模型传播到聚类相应的设备上。）

移动感知

FL中设备的移动性可能会导致设备与集中式边缘/云服务器无法实现无缝通信，从而导致FL的性能下降。为了解决这个问题，在设备选择阶段，将用户的移动性考虑进去，不具有移动性或移动性较低的设备是优先的。在一些情况下这种方法似乎很有用。然而，如果设备具有高移动性，则有必要在设备选择阶段期间预测设备的移动性。为此，可以使用基于深度学习的移动性预测方案。

支持同态加密的FL

FL在一定程度上保护了隐私，但它仍面临着安全和隐私挑战。例如，恶意用户可以在模型传输期间访问这些更新，并异常地改变模型参数；或者，恶意用户可以使用模型参数来推断终端设备敏感信息。因此，确保无线信道上的安全FL是必须的,可以使用同态加密来确保安全FL。使用同态加密的优点是允许在不解密密文的情况下对密文进行运算，因此不需要在聚合服务器上解密，不过同态加密会导致使用额外的计算和通信资源。此外，同态加密中的密文包含噪声，该噪声随着数学运算成比例地增加，因此有必要设计一种针对噪声的同态加密方案。

移动感知

支持同态加密的FL

干扰感知设备关联

为了在保护蜂窝用户的同时重用上行链路频谱，如何将终端设备与边缘服务器支持的小蜂窝基站（SBS）相关联？对于固定的资源块分配和固定的发射功率，终端设备的关联对蜂窝用户的干扰控制没有影响。然而，可以同时执行针对终端设备的发射功率分配和设备关联，以同时最小化FL成本和蜂窝用户干扰。这种联合了发射功率分配和设备关联优化问题是一个混合整数非线性规划问题，可以通过多种方式进行次优求解。

量化

支持稀疏化的FL可以减少通信资源消耗，但对于大量设备和有限的通信资源来说，单独使用它可能是不够的。为了解决这个问题，我们可以在FL中使用量化，但是量化可能会引起误差，延长FL收敛时间。因此，需要在FL收敛时间和训练的通信资源消耗之间进行权衡。几种量化技术（即通用矢量量化[177]、低精度量化器[178]和超球面量化[179]）可用于物联网网络上的FL。