目录
liu四、数据异质性
一、Introduction
随着5G网络的广泛采用和硬件的快速发展，异构设备（包括边缘和物联网设备）获得了更高的通信和计算能力，以及更广泛的应用程序。与经典的ML方法相比，FL为边缘应用提供了各种优势：（1）由于基于梯度的全局模型聚合，更高的本地数据隐私；
（2）网络传输延迟更低，因为训练数据不需要传输到云；
（3）由于从其他设备学习的特性，更高的模型质量。因此，FL能够在异构设备上对ML模型进行协同训练，这在许多研究论文中得到了证明。
同时将经典的FL应用于资源受限的设备时出现了以下缺点：
（1）异构设备的不可靠性。聚合服务器等待更新的本地梯度，这些梯度可能由于设备的异构性和不可靠性会出现脱线的情况，严重降低学习效率。
（2）效率低。设备资源和各个设备数据的差异。训练比较快的设备必须等待速度慢的设备上传本地更新的数据。
（3）资源利用率低下。由于不适当的worker选择策略，可能会导致一些工作能力比较强的worker未被选中。
（4）联邦学习中安全和隐私问题。安全则是由于训练节点上发起的毒害攻击引起的，隐私是由于局部梯度更新可能会出现梯度泄露的问题。
为了克服上述的一些挑战提出了异步联邦学习方法，中心服务器一旦收集到了很少的本地模型，就开始全局聚合。与AFL相关的论文大概被分为七类：节点选择、加权聚合、梯度压缩、半异步聚合、集群FL和模型分割以及数据方面的异构（No-IID）
二 、Background Knowledge
为了更好地理解异步联邦学习，需要具有以下知识相关概念。
2.1 联邦学习
2.2 区块链
2.3 差分隐私
三、设备异质性
3.1 节点选择
主要思想是选择更可靠、更强大的节点参与训练。
（1）启发式贪婪节点选择策略，基于局部计算和通信资源，迭代选择异构物联网节点参与全局聚合学习。在iid和no-iid数据集上进行实验，验证该方法切实有效。
（2）边缘设备比较多，需要限制在AFL中参与训练的设备数量，在服务器上引入了一种带有加权平均机制的限制大小高速缓存，以减少模型稳定性影响。实验结果验证，算法收敛速度和模型精度都有明显提高。
（3）根据每个节点上局部模型的计算能力和精度变化，设计了一个节点选择的优先级函数，其他未被选中的节点同时在本地参与迭代。实验结果表明，由于优先级函数精度增长越快则收敛速度也越快。
（4）与（3）类似的想法，给每个节点都分配一个信任分数。FL任务将根据资源需求和最低信任分数来发布，任何不符合任务要求的候选人都将在训练轮开始前被过滤掉。完成任务的客户端将得到奖励，而没有完成的客户将会降低其信任分数受到惩罚。
（5）崩溃概率比较低的节点更有可能被选为worker参与迭代。
（6）为了评估在每个通信回合中允许部分物联网设备上传本地模型时，不同设备调度和更新聚合策略的性能，作者跨异构计算资源和训练数据分布在iid和非iid数据集上进行了实验。具体来说，设备调度策略包括随机调度、基于显著性的调度和基于频率的调度；更新聚合策略包括等权重聚合和年龄感知聚合。仿真结果表明，在非IID数据集上进行训练时，随机调度策略的性能优于其他策略。此外，适当的年龄感知聚合策略执行得更好。
3.2 加权聚合
为了减少陈旧设备或陈旧模型的影响，提高学习效率，许多论文提出了加权聚合的方法，其主要思想是设置一个跟踪参数，以减少陈旧局部模型的权重，同时增加聚合时最新局部模型的权重。
3.3 梯度压缩
梯度压缩是降低AFL中通信成本的一种重要方式。
3.4 半异步FL
在异步FL方案中，离散者上传的陈旧局部模型在一定程度上降低了全局模型的精度。为了缓解偏离的影响，提出了具有模型缓存算法的半异步FL方案。
3.5 Cluster FL
聚类FL是一种通过将相似、性能强的设备聚类在一起来提高训练效率的方法。通常，具有类似更新频率的节点被聚集在一起。组内更新采用同步更新策略，而组间更新则采用异步更新策略。
3.6 模型分割
在分割深度神经网络模型后，每个节点负责模型的一部分，而不是整个模型。模型分割策略减少了在特定时间需要传输的参数量，从而提高了通信效率。
四、数据异质性
在实际应用中数据通常是非独立同分布数据，此外每个节点上的数据是非平衡的。因此，如果某些节点频繁地上传数据可能会导致模型全局发散或者是过拟合。
4.1 非独立同分布数据（No-IID）
4.2 数据垂直分布
垂直分布是指不同的节点上具有相同的数据特征，由于全局模型的生成依赖于局部模型的连接，因此对局部模型的更新在很大程度上依赖于垂直FL中其他节点的数据。因此，这种特征分布的不平衡和模型依赖性的增加给AFL带来了挑战。
五、异构设备上的安全和隐私问题
虽然引入FL是为了保护局部训练数据的隐私，但对FL有一些新的攻击，导致隐私问题，如成员推理攻击、属性推理攻击、模型反演攻击、梯度攻击的深度泄漏。一些攻击，如中毒攻击或后门攻击，也对全球模式有害，是FL的主要安全挑战。当在异构设备上进行训练时，AFL成为这些类型攻击的目标，因为它是FL的一种变体架构。差异隐私和区块链是两种主流解决方案，以减轻异构设备上的隐私和安全风险的AFL.
5.1 差分隐私在异构设备上的应用
5.2 区块链在异构设备上的应用
六、异构设备相关应用
6.1 智能交通
6.2 智能工业
七、潜在研究方向
7.1 设备异质性
- Optimization towards a balance between performance upgradation v.s. time consumption.
-
Optimization towards a generalized AFL solution
-
Optimization towards dynamic resource allocation for AFL
7.2 数据异质性
- 优化异构数据的分布，比如进行局部独立训练、个性化局部训练和聚类训练（基于数据的聚类训练是一个很有前途的研究方向），或者基于数据分布相似度进行聚类。
- 优化异构数据的大小。节点之间的数据集大小通常是不平衡的，因为在AFL的大多数应用场景中，每个节点都会收集自己的本地数据。即使所有节点都有相同的计算资源，节点的不平衡数据集会导致局部模型更新频率的变化。
- 优化垂直数据的分布。垂直数据分布在几种经济场景中很常见，其中每个节点拥有数据集的不同特征集。在异构计算环境中，缺乏从一些偏离节点上传的局部模型，导致全局模型有偏倚，无法预测某些特征，而不像水平FL中全局模型精度的下降。因此，滞后的局部模型在垂直AFL中是不可忽略的。
7.3 隐私安全问题
- 利用不同的隐私来优化隐私保护
- 使用区块链优化安全性增强
- 使用轻量级分布式加密技术实现安全增强的优化
311
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
