PyramidFL: A Fine-grained Client Selection Framework for Efficient Federated Learning

于 2023-03-27 12:35:59 发布
阅读量547 收藏 2
点赞数
分类专栏： 联邦学习 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ye6pipipihou/article/details/129756820
版权

作者：都来自Michigan State University

Introduction

由于移动设备和物联网（IoT）每天都在不断地收集大量的个人数据，数据隐私已成为一个重要的问题。巨大的个人数据。作为对这一问题的补救措施、 联合学习（FL）作为一种保护隐私的机器学习（ML）范式出现了，在这种范式中，移动设备和物联网等客户端分布在不同的地方。分布在不同地理位置的客户端，可以协同训练一个ML模型，同时在本地存储他们自己的数据。设备上存储自己的数据。这种能力使FL成为一个核心组件赋予广泛的隐私敏感应用，如人类活动监测。如人类活动监测，家庭自动化和 语音辅助。
在高层次上，FL过程是在一个中央服务器的协调下进行的。中央服务器的协调。在每一轮的联合训练中，中央服务器首先将其当前的模型分发给一群被选中的客户；然后每个参与的客户使用本地的数据对自己的模型进行训练。然后，每个参与的客户使用本地的数据，使用本地随机梯度下降法（SGD）在自己的数据上训练模型，并只将模型的更新发送给中央服务器。到中央服务器；中央服务器汇总来自这些被选中的客户的模型更新 中央服务器汇总来自这些被选中的客户的模型更新并更新模型。这些步骤迭代了很多轮训练，直到模型收敛。

FL通常涉及数以百计，甚至数以百万计的客户。然而，考虑到聚合模型更新的重大开销，在实践中，只有一小部分客户参与了每轮训练。因此，选择哪些客户参与每轮训练是对于联邦训练的性能和效率至关重要至关重要。

请添加图片描述

PyramidFL本质上是一个细粒度的客户选择策略，它不仅专注于这些被选中和没有被选中的客户端的差别，还能充分的利用被选择的客户中的数据和系统异构性，从而去更高效地发挥它们的效用

RELATED WORK

Data Heterogeneity in FL
为了克服数据异构的不利影响，FL中之前的工作的一个主要主题是在服务器端或客户端设计FL优化器，但数据异构性可能导致全局模型对某些客户机没有效果，因此后来的工作提出为每个客户机训练个性化模型，而不是在所有客户机之间共享全局模型。
PyramidFL集中于优化全局模型的time_to_accuracy性能，但也可以拓展到微调或者多任务学习来获得个性化模型。
System Heterogeneity in FL
这部分工作使得不同客户机具有不同能力的异构本地模型，这与传统的联邦学习框架不同，在传统的联邦学习框架中，所有的客户端必须共享相同的模型架构。我们的工作也考虑了系统异质性;但是,我们将这些信息用于客户选择。

System Performance Optimization in FL
为了提高联邦培训的效率，有大量关于降低通信成本的工作，如LotteryFL、AdaQuantFL。而文章的工作在优化FL系统性能方面有相似的目标，然而他们是从客户选择的角度来解决这个问题。
Client Selection in FL
随机选择等简单的客户选择方案已经被广泛使用，特别是在整个训练过程中客户可能只参与一次的场景。新提出的客户端选择方法大多集中在大多数客户端是稳定的，可以参加大多数轮的训练，能使用客户端状态信息作为反馈来指导客户端选择的场景。 与文章最相近的工作是Oort。

Limitation of Existing Works

最新的客户端选择方案Oort，提出将数据和系统异构性同时考虑进去并且联合优化数据和系统高效性。但它最大的不足是选择策略上的粗粒度，即只考虑了被选择与没有被选择的客户端的数据和系统异构性，而没有考虑被选择的客户端内部的这些差异。
(这篇文章对它的对手进行各种实验证明其不足)
综合的缺点是他们选择用于聚合参数的客户机的响应时间区别很大，导致某些响应时间快的客户机被浪费时间；
Limitation#1: Under-exploited Statistical Efficiency
Oort的局部训练策略通过提供一系列固定参数，限制了每个客户的每轮的统计效用
Limitation#2: Under-exploited System Efficiency
在Oort中，每个客户端都被设计成在每一轮中将完整的模型更新上传到中央服务器。然而，这样的设计忽略了一个事实，即并非所有的模型更新都对模型训练有同样的贡献。

请添加图片描述

Contribution:

1.提出一个细粒度的基于客户端选择的FL框架：PyramidFL。该框架旨在适应每个参与者的本地训练处理，并采用基于重要性的模型更新dropout，分别优化参与者的数据效率和系统效率，能够提升联邦训练的效率。这个框架不仅能够考虑被选择与没有被选择的客户端的数据和系统异构性，还考虑了被选择的客户端之间的数据和系统异构性，实现细粒度的客户机选择。
这源于两个key insights:

  • 一个客户可以通过在一轮中训练更多本地数据样本来提高数据效率
  • 为之前的模型聚合提供不太重要的模型更新的客户端可以删除一些参数，以减少通信时间，而不弱化模型

2.使用FeaScale实现PyramidFL，并且在多个不同类型的深度学习模型和4个真实世界中重要任务对应的联邦学习数据集上评价其性能。
对比指标为time-to-accuracy（到达目标精度所需的时间）、测试正确性

3. OVERVIEW

图4说明了PyramidFL的整体设计。在服务器端，每轮训练开始时，PyramidFL开始根据客户的效用值选择排名靠前的客户（§4.1），并随机引入新客户参与联邦训练。PyramidFL还要求服务器根据前几轮训练中客户端的状态，为参与者计算基于排名的配置。
原因有两个方面：
首先，参数服务器可以收集这些排名信息，以考虑参与者内部与全局观点的分歧，同时避免数据泄露（§4.2）。
第二，基于排名的配置可以被每个参与者用于他们的本地训练决策。因此，每个参与者可以更新其数据和系统效用，以调整其被选入下一轮训练的可能性（§4.3）。具体来说，每个参与者首先检索他们基于排名的配置的时间消耗，然后调整其本地训练迭代。因此，它可以充分利用空闲时间使大多数参与者看到更多的本地数据样本。此外，每个参与者进一步利用其模型更新重要性的基于排名的配置来确定其模型更新的哪些参数应该被上传（图3（c））。这种方式通过避免不重要的参数上传，这种方式通过避免不重要的模型更新上传来节省宝贵的网络带宽，以充分利用所选客户端的系统效能。同时文章在服务器和客户机两端进一步部署了两个pacers，以平衡统计和系统效用，并克服前几轮效用估计的滞后性（§4.4）。具体来说，服务器端的pacer可以调整开发人员对系统实用程序的首选持续时间)，以与统计效能进行讨价还价。而客户端的pacer 在客户端可以设置几个参数来容忍每个客户的陈旧时间消耗和实际时间消耗之间的差异。
请添加图片描述
下面这张图说明了客户端不仅可以通过利用空余时间对本地更多数据进行训练，同时也会丢掉一些对模型更新不重要的参数从而减少上传模型的通信时间。
请添加图片描述
The effectiveness of PyramidFL:
请添加图片描述

4. DESIGN DETAILS

4.1 Utility Function of Client Selection

Server Side: 服务端通过以下公式获得一个客户机列表，/前代表在整合函数FA下客户C的统计效用，/后面代表当前训练轮次中花费时间最多的客户机的时间。
请添加图片描述
Client Side.
选定的客户端可以从两个方面调整其本地训练，以优化其在服务器端的全局效用。
请添加图片描述

4.2 Global Client Selection

Utility Function
请添加图片描述
通过基于排名的分配,文章启发性地获得客户端的系统效用与数据效用。
Importance Ranking Calculation
关键点是如何利用服务器上汇总的全局信息来确定排名标准，以优先考虑那些具有较高真实效用的客户机。
因为对每个参与者的模型更新的重要性可以从以前的训练回合中计算和存储，所以下次被选择的客户机的系统效用。
同时，我们利用了重要抽样及其充分使用的度量梯度范数来确定客户机的排名。
除此之外，文章还进一步收集了过去几轮中每个选定客户端的计算和通信时间，重新评估了其设备类型和网络质量，给定公式5中的首选持续时间，可以计算每个客户机的空闲时间，然后调整其对应的本地训练迭代次数从而训练更多样本数据。

4.3 Local Utility Optimization

在从中心服务器获得全局的共享信息后，客户机可以做以下操作：
Ranking based Dropout
通过梯度规范给予基于重要性的排名，被选择的参与者可以在本地确定其通信的更新。例如，排名在#1的参与者应该有最多的参数要上传，因为它可能是下一轮最重要的客户端。为了实现参数退出，我们利用了在ML文献中广泛使用的退出方案，这只需要丢失参数的百分比，并防止训练模型的过拟合。以下是被选择的客户机Ci线性地计算其更新参数Pi根据其排名表示下降的百分比请添加图片描述Adaptive Local Training
在得到上传更新的退出率后，每个参与者可以进一步调整其局部训练迭代次数。因此，它可以进一步利用计算通信之间的间隔时间来训练到更多的本地数据样本。
请添加图片描述

Local Utility Optimization请添加图片描述

4.4 Put All the Pieces Together

整体算法流程：
1.在每一轮训练开始时，PyramidFL会收集上一轮的统计和系统反馈信息以了解客户端的重要性(计算和通信时间消耗），并更新这些被探索的客户端的信息（第6行），包括统计效用、消耗的墙钟时间。
PyramidFL的pacer可以调整 首选轮次持续时间与步幅Δ来平衡流浪者惩罚和统计效用.
接下来通过公式7计算每个客户机的效用值，并选取指定比例的根据统计与系统效用排序的客户机。为了引入新的客户机，该算法会获取一定比例且在之前没有被选择过的客户机，优先考虑那些拥有更快的系统速度的还没被选过的客户机。
接下来，我们在公式(8)中计算了基于排名的局部效用优化方法。因此，选定的客户可以在本地做出他们本地的训练决策。例如，每个选定的客户机计算要通信的模型更新参数的dropout率，并对其进行调整局部训练迭代次数，实现时间上的平衡。

请添加图片描述

5.整体架构与流程

我们已经使用FedScale [26]实现了这个模型，这是一个用于联邦学习的基准和开源评估平台。
FedScale :Lai, Fan, et al. “Fedscale: Benchmarking model and system performance of federated learning at scale.” International Conference on Machine Learning. PMLR, 2022.
请添加图片描述

1.在Parameter Server端，开发人员首先将FL作业以及用于客户端选择的特定标准一起提交给客户端聚合器；
2.随着客户从上一轮的反馈，客户聚合器分别收集和更新客户信息和全局模型；
3.客户端选择器生成符合开发人员效用标准 (统计和系统效用两方面) 的合格客户端列表，以用于下一轮训练；
4.Pacer通过调整每个回合的持续时间来控制两个效用之间的平衡；
5.客户端分发器检索参与者列表和信息以及最新的全局模型；
6.上面检索到的信息可以传输给相应的客户端的接收器；
7.给定客户端的本地数据、计算和通信资源；
8.模型训练器通过自适应训练迭代启动其本地训练过程；
9.执行器根据基于排名的配置进行通信模型更新，这个过程可能会丢弃一些对于模型更新重要性低的参数。

EVALUATION

数据集是来自四个不同规模的针对联邦学习任务的数据集，且遵循了在联邦场景下真正的non-i.i.d，在数据数量、分布和输出都有所不同。
在这里插入图片描述
请添加图片描述
System Heterogenity
对于本地计算资源仿真，文章使用AI-Benchmark中数百种设备类型的深度学习模型，并将它们分配给在这些数据集的客户.

Evaluation Metrics：
Time-to-Accuracy：
Time-to-Accuracy是指训练ML模型以达到目标精度的挂钟时间

Test Accuracy：
测试精度是指通过联邦学习训练的模型获得的测试数据集的精度

下面的表2展示了文章模型与Oort之间的对比
请添加图片描述
表10体现了文章模型在
请添加图片描述
请添加图片描述
消融实验
感觉对理解这篇文章的思路作用不大，可以需要的时候去论文里看

CONCLUSION

1.由于最先进的技术Oort未能以细粒度的方式实现效用函数，导致次优的time-accuracy。
于是这篇文章提出PyramidFL。该框架使servers定义统计效率(即精度)和系统效率(例如,时间)对应的效用函数，从所有客户中选择top-K客户机参与下一轮训练。

2.此外，服务器在统计效率方面计算参与者级别的重要性排名，以及在考虑每轮训练时间限制的情况下，参与者可以用多少个训练epochs来看到更多的数据，然后分享这些信息，使每个参与者可以优化他们的本地训练，以在未来几轮中为客户选择提供最具竞争力的效用。其中效能优化包括提高其统计效率的自适应数据epochs，和提高其系统效率的基于重要性的参数丢弃率。

3.与SOTA相比，PyramidFL消耗的壁钟、、时间更少（加速比优化了2.71X-13.66X），同时达到了更高的最终精度/复杂度（优化了3.68%-7.33%），适用于各种现实生活中的FL应用的多个ML模型和优化器。

ye6
关注
专栏目录
EFUF: Efficient Fine-grained Unlearning Framework for Mitigating Hallucinations in Multimodal LLMs
c_cpp_csharp的专栏
04-22 359
在过去的几年里，多模态大型语言模型（MLLMs）引起了越来越多的关注，但它们仍然可能生成包括相应图像中不存在的对象的描述，这种现象被称为对象幻觉。为了消除幻觉，现有的方法手动注释有幻觉和没有幻觉的配对响应，然后使用各种对齐算法来提高图像和文本之间的对齐能力。然而，它们不仅在微调阶段需要大量的计算资源，而且还需要昂贵的人工注释来构建对齐算法所需的配对数据。为了解决这些问题，我们借用了遗忘的思想，提出了一种高效的细粒度遗忘框架（EFUF），它可以消除幻觉，而不需要配对数据。
FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models
最新发布
c_cpp_csharp的专栏
05-26 159
为了全面评估大型语言模型（LLM）的数学推理能力，我们需要仔细策划涵盖不同数学概念和不同难度的数学问题的评估数据集。为了实现这一目标，我们在本文中提出了FineMath，这是一个用于评估中文LLM的细粒度数学评估基准数据集。FineMath旨在涵盖小学数学中教授的主要关键数学概念，这些概念又分为17类数学单词问题，从而能够深入分析LLM的数学推理能力。根据解决这些问题所需的推理步骤的数量，手动注释所有17类数学单词问题的难度等级。
【论文笔记】PyramidFL: A Fine-grained Client Selection Framework for Efficient Federated Learning
weixin_44270151的博客
10-31 2205
PyramidFL:用于有效联邦学习的细粒度客户端选择框架
flsak框架1
10-08
flask框架基础学习总结笔记.
【FL实战】Flower框架学习
JIANGSAS的博客
10-24 1650
本篇博客主要记录flwr中主要使用到的api备忘。
【一种数据异构的FL迁移学习框架】Privacy-preserving Heterogeneous Federated Transfer Learning
学渣的博客
04-22 1万+
原文：Privacy-preserving Heterogeneous Federated Transfer Learning 本文讲了数据异构（区别于模型结构异构）下的 FL 训练框架，此外还有隐私保护的作用。这里的数据异构是指不同的 feature spaces，因此本文使用了迁移学习进行解决。 数据异构 heterogeneous data 数据异构有两种情况：homogeneous feature space or heterogeneous feature space with instance
【论文阅读】一种包含同态加密、差分隐私、多方安全计算的FL隐私保护框架 Efficient and Privacy-Enhanced Federated Learning for Industrial
热门推荐
学渣的博客
03-25 1万+
本文来自：Efficient and Privacy-Enhanced Federated Learning for Industrial Artificial Intelligence 本文提出了一种包含同态加密、差分隐私、多方安全计算的FL隐私保护框架。 目录FLrelated workpreliminariesDeep learning 的差分隐私Methodology FL 大家都知道，就不写了~ related work 首个FL 隐私保护框架： Shokri and Shmatikov [18]
Flask 框架简单入门
Flask 框架之简单入门
10-17 8803
Flask框架介绍 Flask 框架 什么是Flask? flask是一种基于python ,并且依赖于Jinja2模板引擎(提供网页解析)和 Werkzeug WSGI服务（python web应用与web 服务之间的接口）的一种微型框架。其中： Jinja2模板引擎：通俗来讲就是服务器接收到用户请求之后，将数据传入HTML文件中后，经过模板引擎的渲染将其呈现在网页中响应给用户。 Werkzeu...
Building Microservices: Designing Fine-Grained Systems
07-23
Distributed systems have become more fine-grained in the past 10 years, shifting from code-heavy monolithic applications to smaller, self-contained microservices. But developing these systems brings ...
FSA-Net: Learning Fine-Grained Structure Aggregation for Head Pose Estimation from a Single Image
博客
12-28 1290
本文来源于2019A类会议CVPR的论文FSA-Net，对其中一部分进行翻译 摘要： 本文提出了一种基于单个图像的头部姿态估计方法。以往的方法往往是通过landmark或depth估计来预测头部姿态，计算量大。我们的方法是基于回归和特征聚集。为了得到一个紧凑的模型，我们采用了soft stagewise regression方案。现有的特征聚集方法将输入视为一组特征，从而忽略它们在特征图中的空...
[论文笔记] Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation
weixin_44563093的博客
10-17 327
This paper adopts a fine-grained domain discriminator that not only plays as a domain distinguisher but also differentiates domains at class level
基于PyTorch的联邦学习开源框架FedLab：加速FL算法验证
DS_agent的博客
08-19 3062
FL框架调研 近两年来联邦学习federated learning（FL）非常火热，也有很多开源的联邦学习框架。 微众银行的FATE FATE文档 覆盖横向、纵向、迁移联邦学习；实现了样本安全匹配，样本切分、特征处理和筛选、LR/XGB/DNN等常用算法，模型评估与评分卡，模型预测（serving），联邦推荐等；文档丰富 工业级框架，比较繁重，上手比较困难，不易于实验室环境部署 OpenMind的PySyft: 由openmind大力推广，PySyft 在主要深度学习框架（如 PyTorch 和 .
联邦学习看了论文之后的小展望（11.21）
QinZheng7575的博客
03-10 1332
typora-copy-images-to: …\MD_note\images 目前整理新看的一些论文： 动态分簇 《Adaptive Client Selection in Resource Constrained Federated Learning Systems: A Deep Reinforcement Learning Approach》这篇文章 核心思想：你不知道哪些设备可能没能力去参与运算，会拖后腿，所以用DRL，目的是自适应的选择部分客户，最小化能源和带宽等资源消耗。 这个比较有前景，.
pyramid框架学习之（一）——搭建第一个pyramid应用
qq_25362095的博客
08-01 4341
0.前言来自：http://blog.csdn.net/qq_25362095/article/details/76537976 此文主要是用于记录从0开始学习pyramid框架的过程，文章内容来源于英文官方文档的翻译，附上官网链接https://docs.pylonsproject.org/projects/pyramid/en/latest/index.html。1.安装在你安装pyramid
2021-01-28
m0_47334835的博客
01-28 111
Ubuntu記錄 安裝 440驅動 software update -> 選擇440, -> apply. reboot. opencv2.4.13 + cmake3.18 + clion 參考链接1: link. 參考鏈接2：link. command sudo su ->進入root模式. pkill telegram ->強制關閉進程. python遇到的問題 // An highlighted block module 'scipy.misc' has no attribu
【科普】半监督学习的概述与思考，及其在联邦学习场景下的应用
我爱计算机视觉
03-03 4765
关注公众号，发现CV技术之美在现实世界中，数据往往存在各种各样的问题，例如：图片分类模型对标注数据的依赖性很强、标注图片数据难以获取、大量未标注数据存在、针对某个场景的数据量过小…等等问题...
半监督学习的概述与思考，及其在联邦场景下的应用（续）
我爱计算机视觉
03-07 2045
关注公众号，发现CV技术之美上一文（【科普】半监督学习的概述与思考，及其在联邦学习场景下的应用）中，我们主要介绍了半监督学习相关的基础知识、方法以及一些SOTA论文，接下来我们将从联邦学习...
消融实验——Ablation experiment
呆萌的代Ma
08-17 6416
就是控制变量法，指在原有的模型的基础上： 加A：效果提升多少 加B：效果提升多少 加A+B：效果提升多少 结论：A有效、B有效、且A+B有效 > 案例 < 以DKN为例，下图即为消融实验效果图（图中DKN可以认为是网络架构） Wang, Hongwei, et al. “DKN: Deep knowledge-aware network for news recommendation.” Proceedings of the 2018 world wide web conference.
纹理合成：Pyramid-Based Texture Analysis/Synthesis
qq_34901691的博客
08-21 1180
Pyramid-Based Texture Analysis/Synthesis 文章目录Pyramid-Based Texture Analysis/SynthesisSteerable PyramidHistogram Matching 受视觉感知理论的启发，Heeger和Bergen提出一种基于金字塔的图像纹理合成技术，着重与随机纹理的合成(与随机纹理对应的是确定性纹理)，此技术的优势是只需要给定目标纹理，不需要更多额外信息即可自动完成目标纹理的合成，关于纹理方面的更多内容可以阅读Human Text
ViSiL: Fine-grained Spatio-Temporal Video Similarity Learning张量点
06-10
ViSiL: Fine-grained Spatio-Temporal Video Similarity Learning 中使用了张量点（tensor dot）操作，用于将空间编码器和时序编码器的输出相结合。 张量点是一种常用的张量运算，可以将两个张量按照一定的规则进行乘法和加法操作，得到一个新的张量。在ViSiL中，张量点被用来将空间编码器和时序编码器的输出相结合，得到视频的综合特征表示。 具体地，ViSiL中使用的张量点操作是将空间编码器的输出张量和时序编码器的输出张量进行张量乘法运算。这个运算的结果是一个三维张量，其中第一维对应视频的数量，第二维对应空间编码器的输出特征图的通道数，第三维对应时序编码器的输出状态向量的维度。 通过使用张量点操作，ViSiL可以将空间信息和时序信息相结合，得到视频的综合特征表示。这个综合特征表示可以用于计算视频之间的相似度得分，从而实现细粒度视频相似性学习的目标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值