联邦学习节点选择

 大多数联邦学习算法假设工人是可信的，并且自愿参与合作模型训练过程。但实际应用中的情况与此并不相符。

1.Blockchain Empowered Reliable Federated Learning by Worker Selection：A Trustworthy Reputation Evaluation Method

IEEE Transactions on Industrial Informatics 

 Yunlong Lu   Xiaohong Huang

2020

通过模型质量参数计算信誉值来评估工人的可靠性。区块链旨在存储历史信誉值，实现防篡改和不可否认。数值结果表明，工人选择方案可以提高模型的精度，加快模型的收敛速度。

为了实现更可靠的联邦学习，在协同训练过程中采用了基于信誉度的工人选择方案。在此背景下，我们概念化了一种基于区块链的可信信誉评估方法TrustRE。TrustRE包括一个联邦学习层和一个区块链层。在联邦学习过程中，多个任务发布者向平台发布联邦学习任务，工人注册后成为候选人。根据模型的质量参数，计算每次迭代后的工人信誉值，并结合区块链上存储的历史信誉值进行工人选择。

 局部模型质量评价的主要方法是交叉熵，它用来度量模型输出向量与真实的结果之间的偏差。在联邦学习任务中，所有工作人员都需要贡献通信和存储成本。培训后的利润分配需要保证利润不为负，不失一般性，收益大于成本。工人的CPU能耗与CPU周期数、周期频率、迭代次数有关。数据大小的贡献与其他参与节点的数据集大小有关（工人数据大小占总大小的比例）。联合学习中的工作者的信誉可以由累积可信信誉值表示（由历史信誉值和贡献表示）。

2.AUCTION: Automated and Quality-Aware Client Selection Framework for Efficient Federated Learning

IEEE Transactions on Parallel and Distributed Systems

Yongheng Deng , Feng Lyu

2022

面向高效FL的自动化和质量感知的客户选择框架AUCTION，它可以评估客户的学习质量，并在有限的预算内为给定的FL任务自动选择具有质量感知的客户。在设计时，应适当平衡数据大小、数据质量和学习预算等影响学习绩效的多个因素。AUCTION将客户选择策略编码到神经网络中，采用强化学习来自动学习客户选择策略，将客户选择策略编码到神经网络中作为代理人，以每个客户的数据大小、数据质量和所需价格作为输入，并输出在预算范围内选择的客户子集，使用策略梯度算法逐步优化其客户端选择策略。

对于一个给定候选客户C和学习预算B的学习任务，如何选择客户子集，以便实现全局模型精度最大化？AUCTION收集客户状态信息，然后代理在环境上采取客户选择动作。客户端协作训练模型，并且训练性能被返回给代理作为奖励。1)状态：客户端Ci的特征xi={di,qli,qdi,bi},样本的数量,数据标签和数据分布方面的数据质量,所需价格。用每个客户Ci的局部数据集上的全局模型的损失来表示数据标签质量ql i。客户端Ci的局部模型的损失来表示数据分布质量qdi。2)行动：采用了顺序行动来逐一做出客户选择决策。3）奖励：r设为，accj是测试精度，r是一个常数，R是轮的总数。

3.A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning

Sai Qian Zhang1, Jieyu Lin2, Qi Zhang3

2022

提出了FedMarl，一个基于MARL的FL框架，它执行有效的运行时客户端选择，联合优化了模型精度、处理延迟和通信效率。

每个客户端的本地训练过程的第一个时期之后的训练损失作为初始训练损失，服务器收集损失并通过停止具有高损失的设备上的剩余训练过程来执行早期拒绝。（反向选择:选择停止哪个设备训练）。我们的目标是最大化全局模型的精度，同时最小化总的处理延迟和通信成本。1)状态：与探测损失，探测训练延迟，模型上传的延迟通信成本和数据量有关。2)行动：指示客户端设备将在探测训练之后终止。3）奖励：反映在执行客户端选择决策之后测试准确度、处理等待时间和通信成本的变化。

4.基于DRL的联邦学习节点选择方法

贺文晨 1，郭少勇 1，邱雪松 1，陈连栋 2，张素香 3

2021

基于深度强化学习的设备节点选择方法。考虑异构节点的训练质量和效率，筛选恶意 节点，在提升联邦学习模型准确率的同时，优化训练时延。首先构建 系统模型，其次提出最优化问题模型，然后将问题模型构建为马尔可夫决策过程，并设计基于分布式近端策略优化 的节点选择算法，选择合理的设备集合，实现恶意节点的筛查和异构设备节点的选择。

本文使用测试数据集的损失函数之和表示 测试准确率。FL 每一次模型聚合的总时延包括数据 在终端设备上的训练时延和在链路上的传输时延。对于一个 FL 任务，节点选择问题可以概括为每次迭代时选择节点集 ，使本次训练的 准确率最优，即总损失函数最小，同时将训练和传输时延控制在一定范围内。

5.Trust-driven reinforcement selection strategy for federated learning on IoT devices

Information Systems Frontiers

Gaith Rjoub1· Omar Abdel Wahab2 · Jamal Bentahar1 · Ahmed Bataineh1

2022

本文提出了一种基于双深度Q学习的选择算法DDQN-Trust，该算法同时考虑了物联网设备的信任值和功率水平，从而进行相应的调度规划。设计了边缘服务器与物联网设备之间的信任建立机制。信任机制旨在检测在本地训练期间过度利用或未充分利用其资源的物联网设备。采用改进的Z得分统计方法来识别表现出过度消耗或不足消耗等异常行为的物联网设备。这对于检测那些没有投入足够资源来服务于联合学习任务的设备以及那些执行额外计算以实现某些恶意目标的设备至关重要。

6.Trust‑Augmented Deep Reinforcement Learning for Federated Learning Client Selection

Information Systems Frontiers

Gaith Rjoub1 · Omar Abdel Wahab2 · Jamal Bentahar1 · Robin Cohen3 · Ahmed Saleh Bataineh1

2022

扩展了5.的工作，提出了一种基于信任的深度强化学习方法，以选择在资源消耗和训练时间方面最合适的客户端。在选择机制之上，我们嵌入了迁移学习方法来处理数据不足，并补偿服务器上的学习不足。制定一个随机优化问题，以确定FL任务将被发送到的物联网设备的集合，其中每个ES的目标是最小化执行时间，同时最大化整个过程的信任。然后使用DRL算法来解决优化问题。

7.Oort: Efficient Federated Learning via Guided Participant Selection

Fan Lai, Xiangfeng Zhu, Harsha V. Madhyastha, Mosharaf Chowdhury

2021

我们识别高统计效用的客户端，该高统计效用是根据针对时空变化进行调整的客户端的最近聚合训练损失来测量的。为了达到统计和系统效率的最佳点，我们进行更长的训练回合以找到具有更高统计效用的客户端。然后采用在线探索-利用策略，从高效用客户端中随机选择参与者。

FL训练的时间-精度性能取决于两个方面： (i)统计效率：达到目标精度所需的轮数；（ii）系统效率：每轮训练的持续时间。存储在客户端上的数据和它执行训练的速度决定统计效用和系统效用。Oort的目标是通过与每个客户的效用关联来优化每种形式的效率，在权衡中找到一个最佳点。使用训练选择器和测试选择器选择高效用的客户端，同时最小化测试的持续时间。

我们引入了一个激励项，以解释陈旧性，如果客户长时间被忽视，我们将逐渐增加她的效用。因此，那些自上次试用以来积累了高效用的客户端仍然可以再次被重新利用。

8.PyramidFL: A Fine-grained Client Selection Framework for Efficient Federated Learning

Chenning Li, Xiao Zeng, Mi Zhang, Zhichao Cao

2022

Oort的改进方法，考虑了较快客户端的空闲时间和参数重要性。

pyramidFL的核心是细粒度的客户选择，不仅关注被选参与者和非被选参与者的差异，而且充分利用被选客户的数据和系统异构性，更有效地分析其效用。PyramidFL设计了针对每个参与者的局部训练处理，并采用基于重要性的模型更新丢弃，分别优化参与者的数据效率和系统效率。被选择了的客户端，其数据效用将被降低，这样未被选择的客户将具有更高的被选择的概率。

在每轮训练开始时，PyramidFL开始根据效用值选择排名靠前的客户端，并随机引入新客户端参与联邦训练。PyramidFL中的参与者可以通过利用空闲时间来增强其数据效用，即训练具有更多数据样本的局部模型，并且通过丢弃不重要的模型参数来减少其计算和通信时间，从而增强其系统效用。

9.An Efficiency-boosting Client Selection Scheme for Federated Learning with Fairness Guarantee

IEEE Transactions on Parallel and Distributed Systems

Tiansheng Huang, Weiwei Lin, Wentai Wu, Ligang He, Keqin Li, Fellow, IEEE, and Albert Y.
Zomaya, Fellow, IEEE

2020

无强化学习，有优化问题  考虑模型交换时间和公平性的客户端选择

将保证公平性的客户端选择问题建模为Lyapunov优化问题。提出了一种基于C2MAB的客户端与服务器之间模型交换时间估计方法，根据每个客户的上下文属性和历史性能（或他们的声誉）来估计每个客户的模型交换时间，并在此基础上设计了一种保证公平性的RBCS-F算法进行求解。

模型交换时间与客户端的计算能力、运行状态以及模型更新的带宽分配有关。客户选择问题：在公平、可用性和最大客户端数量的约束下，优化时间跨度。

10.Two-Phase Deep Reinforcement Learning of Dynamic Resource Allocation and Client Selection for Hierarchical Federated Learning

Xiaojing Chen1,2, Zhenyuan Li1, Wei Ni3, Xin Wang1,4, Shunqing Zhang1, Shugong Xu1, and Qingqi Pei2

2022

提出了一种新的两阶段深度确定性策略梯度框架，称为“ TPDDPG”，平衡学习延迟和模型精度。新的基于掉队者感知的客户端关联和带宽分配算法来有效地优化其他决策，该算法对 DDPG 的报酬进行评估。本文提出了计算模型（计算延迟和能耗）、通信模型（通信时间和能量成本）、能量收集和电池模型，最大化效用函数，优化模型精度。

将优化问题作为马尔可夫决策过程，为每个边缘聚合回合决定参与客户端的选择、传输功率控制和CPU配置。TPDDPG在第二阶段中，通过新的掉队者感知客户端关联和带宽分配算法来有效地解决确保每个选定的客户端仅与一个边缘服务器相关联、避免具有FL的关键数据集但信道条件差的客户端可能永远不会被选择的问题。

11.Participant Selection for Hierarchical Federated Learning in Edge Clouds

Xinliang Wei, Jiyao Liu, Xinghua Shi, Yu Wang

2022

每个模型需要从边缘服务器中选择一个参数服务器、几个组长和一定数量的工作者共同执行HFL。将该问题转化为一个非线性整数规划问题，目标是在满足边资源约束的前提下，最小化所有模型的总学习代价。将优化问题解耦为三个子问题，提出一种算法迭代求解子问题以寻找参与者和每个模型的学习率。

计算边缘通信成本（包括FL模型下载和上传开销）、本地更新成本、聚合成本和初始化成本，将参与者选择问题公式化为优化问题，在每一阶段中，专注于两个固定的情况下求解xt i，j，yt i，j和zt i，j的决策变量中的一个。迭代地重复这三个阶段，直到满足某些特定条件。

12.Participant Selection for Federated Learning With Heterogeneous Data in Intelligent Transport System

IEEE Transactions on Intelligent Transportation Systems

Jianxin Zhao , Xinyu Chang, Yanhao Feng, Chi Harold Liu , Senior Member, IEEE, and Ningbo Liu

2023

提出了一种新的效用度量方法用于联邦学习中的客户端选择，强调了联邦学习系统中的反馈控制部分，并提出了选择频率。在每轮中首先联系选择器，选择器首先从客户池中选择可用的客户，然后选择一组参与训练，选择客户基于提交任务的时间，设备贡献意愿和距离选择客户。

为了在一轮中达到最大准确度，我们选择能够提供最大模型权重变化的客户端。包含大量数据的客户端往往会提供更多的信息，导致更大的权重变化。

13.A Decentralized Federated Learning Framework via Committee Mechanism With Convergence Guarantee

IEEE Transactions on Parallel and Distributed Systems

Chunjiang Che , Xiaoli Li , StudentMember, IEEE, Chuan Chen , Member, IEEE,
Xiaoyu He, and Zibin Zheng , SeniorMember, IEEE

2022

提出了一种新的无服务器联邦学习框架CMFL，设计了两种相反的选择策略，兼顾了准确性和鲁棒性。联邦学习框架CMFL包括评分系统、选举策略、选择策略。

选出代表大多数客户的客户成为新委员会的成员，训练客户端将局部梯度发送到委员会客户端，委员会客户端根据评分系统对它们分配分数。评分系统被设计为比较两个梯度的欧氏距离，其中上传诚实梯度的客户端可以获得较高的分数。

选择策略：1选择具有相对较高分数的若干局部梯度来构造全局梯度以用于全局模型的更新。全局模型难以学习到综合的数据特征，导致性能下降。2选择具有明显差异的分数相对较低的局部梯度来构造全局梯度，允许全局模型更全面地学习。

选举策略：（根据评分选择委员会客户端），1选择接近中间或上部位置的训练客户端防止了恶意训练客户端在下一轮成为委员会客户端。2不选择得分最高的培训客户作为新的委员会成员，以避免系统过于依赖委员会成员的初始化。应该选择大多数的。

14.Local Loss-Assisted Dynamic Client Selection for Image Classification-Oriented Federated LearningLocal Loss-Assisted Dynamic Client Selection for Image Classification-Oriented Federated Learning

Suat Cheng Ong and Rung-Hung Gau

2022

在每一轮中，客户端将它们的最新局部模型损失发送到服务器，并且服务器挑选具有最小损失的客户端以上载局部模型参数的最佳集合。如果轮数超过预定阈值或损失序列收敛，则所研究的联邦学习过程停止。

客户端检查本地损耗是否减小，并将最新的最小本地损耗发送到服务器。服务器选择具有最小本地损失的N个客户端。

15.Proximal Policy Optimization-based Federated Client Selection for Internet of Vehicles

Tianqi Yu1, Xianbin Wang2, Jianfeng Yang1, Jianling Hu1,3

2022

本文提出了一种基于邻近策略优化（PPO）的客户端选择方案。首先将联邦客户机选择问题表示为马尔可夫决策过程（MDP），并为MDP开发了一个基于PPO的算法。

状态空间由候选客户端的权重差异、CPU周期频率、剩余能量和无线带宽形成。权重差异是客户端的本地模型权重与全局聚集模型权重之间的相对差，并且用于评估本地数据质量。对应于客户端选择的优化目标，通过所选客户端的归一化数目、权重差异、能量消耗和延迟的组合来定义奖励。针对多目标决策问题，提出了一种基于策略梯度的深度强化学习算法（DRL），用于离散行为空间的最优决策。

16.Adaptive Client Selection in Resource Constrained Federated Learning Systems: A Deep Reinforcement Learning Approach

IEEE Access

HANGJIA ZHANG 1, ZHIJUN XIE1, ROOZBEH ZAREI 2, TAO WU1, AND KEWEI CHEN3

2021

我们建立一个新的移动边缘计算FL (MEC)系统,提出一个经验驱动控制算法,自适应地选择客户端。建立了一个包含FL服务器和客户端设备的MEC模型，包括能量、CPU、数据存储、带宽和无线充电，自适应客户选择机制在MEC可以建模为一个马尔可夫决策过程中，提出了一种基于强化学习的客户端选择方案，该方案学习在每一轮通信中选择一个设备子集，以最小化能量消耗和训练延迟。

首先，n个客户端通知边缘服务器它们的资源信息。然后边缘服务器在下一次全局模型训练过程中估计MEC系统的能耗和传输时延，选取N个客户端。首先将动态MEC系统表示为马尔可夫决策过程（MDP）。然后，我们采用基于双深度Q网络（DDQN）的DQL来做出选择自适应客户端为FL服务器训练ML模型的最优决策。