- 博客(6)
- 收藏
- 关注
RSS订阅原创 异步联邦学习①-FedASMU
作为一种处理分布式数据的有前途的方法，联合学习近年来取得了重大进展。FL通过利用分散在多个边缘设备中的原始数据来实现协作模型训练。然而，数据通常是非依赖和同分布的，即统计异质性，边缘设备在计算和通信能力方面存在显著差异，即系统异质性。统计异质性导致精度严重下降，而系统异质性显著延长了训练过程。为了解决异构性问题，我们提出了一个异步陈旧感知模型更新FL框架，即FedASMU，它有两种新的方法。
2024-03-18 10:58:52
856
原创 分层联邦学习①-SHARE
联合学习（FL）可以在移动节点上实现分布式模型训练，而无需共享对隐私敏感的原始数据。然而，为了实现高效的FL，一个重大挑战是提交模型更新的通信开销过高，因为通常需要频繁的云模型聚合才能达到目标精度，尤其是当移动节点处的数据分布不平衡时。通过试点实验，验证了如果模型聚合可以在边缘进行，则可以避免频繁的云模型聚合而不会降低性能。为此，我们介绍了分层联合学习（HFL）框架，其中选择分布式节点的子集作为边缘聚合器来进行边缘聚合。
2024-03-17 20:25:53
755
1
原创 客户端选择论文1-REFL
联邦学习(FL)允许学习者使用本地数据进行分布式训练，从而增强隐私并减少通信。然而，随着部署规模的扩大，它提出了许多与数据分布、设备功能和参与者可用性的异质性相关的挑战，这可能会影响模型的收敛和偏差。现有的FL计划采用随机参与者选择来提高选择过程的公平性;然而，这可能导致资源使用效率低下和培训质量降低。在这项工作中，我们系统地解决了FL中的资源效率问题，展示了智能参与者选择的好处，并结合了来自分散参与者的更新。我们将演示这些因素如何在提高训练模型质量的同时提高资源效率。
2024-03-15 22:04:17
1462
原创 个性化联邦学习
模型插值方法有一个简单的公式，它使用全局模型和局部模型的混合来学习个性化模型。但是，这些技术不能在FL设置下直接应用，在FL设置下，驻留在联合中的客户机上的数据是分布式的和私有的。PFL方法有四大类:1)基于数据的，2)基于模型的，3)基于体系结构的，4)基于相似性的。一般来说，基于蒸馏的FL架构有四种主要类型:(i)将知识蒸馏到每个FL客户端以学习更强的个性化模型，(ii)将知识蒸馏到FL服务器以学习更强的服务器模型，(iii)向FL客户端和FL服务器双向蒸馏，以及(iv)客户端之间的蒸馏。
2024-01-25 18:48:05
1967
原创 联邦学习中的客户端选择
目前的FL客户端选择工作采用简单的方法来权衡开发和勘探。由于不同的硬件配置，FL客户端在每个训练回合中导致不同的系统开销(例如，训练和传输时间)。因此，在每一轮训练中随机抽样客户端可能无法充分利用异构客户端的本地更新，从而导致模型精度降低，收敛速度减慢，公平性降低等。在典型的FL场景中，客户机在数据分布和硬件配置方面表现出明显的异构性（移动设备通常配备不同的硬件，这些硬件具有不同的计算、通信、能源等能力。在每一轮训练中，测量每个客户机的效用/优先级，并选择具有最佳效用度量的客户机进行模型训练和聚合。
2024-01-24 21:52:54
2166
原创 联邦学习。
现实世界中，各个设备的存储、CPU计算能力、网络传输等多个方面存在差异，这些异构性使得设备的计算时间不同，甚至导致在训练过程中个别设备直接掉线。生成初始模型：云服务器首先生成初始的全局模型，将全局模型作为机器学习模型广播给联邦学习环境下的客户端 （0 < 𝑖 < 𝑁，𝑁为客户端的总数量）。模型聚合：服务器接收从客户端发送来的更新后的训练模型，并进行聚合生成全局模型。本地模型更新：客户端接收到从云服务器广播的全局模型之后，借助本地私有的数据集对模型进行训练，再将训练后的模型更新发送给服务器。
2024-01-24 17:21:04
395
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人