一些联邦学习论文阅读

已于 2023-06-13 20:31:25 修改
阅读量660 收藏 6
点赞数 2
文章标签： 论文阅读
于 2023-06-12 20:27:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45620650/article/details/130974377
版权

文章目录

一些联邦学习论文阅读

DEPTHFL: DEPTHWISE FEDERATED LEARNING FOR HETEROGENEOUS CLIENTS

技术点

主要创新：深度缩放+自我蒸馏(self distillation)
后续又在FedDyn结构上应用DepthFL，在资源异构、数据异构的双重易构背景下进行实验

额外收获

同样思路的框架：HeteroFL，FjoRD，Split-Mix，InclusiveFL
开山鼻祖：HeteroFL

知识背景

自我蒸馏

自我蒸馏是一种通过使用同一模型的不同层之间的知识传递来提升模型性能的技术
自我蒸馏是通过将模型的高层输出用作目标来训练低层网络，以使低层网络学习从高层网络中提取的更加抽象和有用的特征。本文的使用方式相反，从低层网络中蒸馏出有用的信息给高层网络

通道裁剪与深度裁剪

通道裁剪：对所有层剪枝一些通道
深度裁剪：剪枝全局模型的一个或多个最高层

DSN网络

DSN的核心思想是在神经网络的中间层添加多个辅助分类器，这些分类器与最终输出的主分类器共同组成网络的结构
DSN通过在网络的不同层级上添加辅助分类器来提供额外的监督。这些辅助分类器在训练过程中与主分类器一起进行反向传播，并为中间层的特征提供额外的梯度信号

设计原因

总体思路

HeteroFL通过修剪通道（即基于宽度的缩放）来将本地模型创建为全局模型的子集，但是通过修剪通道（即基于宽度的缩放）来将本地模型创建为全局模型的子集，导致通道参数不匹配，精度较低，因此选择深度缩放
单纯使用深度缩放存在的问题：
算力大：网络模型更深
算力小：网络模型浅
算力大，数据量大√；算力大，数据量小×
为解决分配较大模型，但是数据集太少的问题，这种情况下的效果会很差—>对每个C的模型的分类器之间，应用自我蒸馏
在这里插入图片描述

模型设计---->为模型按照深度分割服务

深度裁剪的时候，裁剪后的模型，由于最高层完全被剪，需要额外的瓶颈层(bottleneck layer)构成独立的分类器
这个要求，需要全局模型应该在不同的深度上有不同的分类器，满足这种要求的网络–>深度监督网络DSN

聚合方式

将相同深度的局部模型参数聚合在一起，最终聚合的结果是：靠近输入的浅层聚集了大量的局部模型参数，而靠近输出的深层聚集了少量的局部模型参数

回答问题

1.如何定义算力?

没讲，直接根据模型参数大小自己划的

2.如何进行模型缩放？

直接切深度，针对切完深度后的模型有效性，采用的自我蒸馏和DSN是本文的创新点

3.如何聚合？

简单每层聚每层的

EFFICIENT SPLIT-MIX FEDERATED LEARNING FOR ON-DEMAND AND IN-SITU CUSTOMIZATION

额外收获

开山鼻祖：HeteroFL

设计原因

设计初衷

在这里插入图片描述
出发点：
在资源不受限的情况下，模型确实越大越好
在资源受限情况下，在小数据集上训练大模型效果很差，需要进行模型定制

算法流程

在这里插入图片描述

  • 根据模型宽度和鲁棒性水平将大型模型中的完整知识分成几个小的基本子网络(分片)
  • 在所有客户端上训练每个子网络
  • 根据客户端算力，组合不同的子网络

HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients

ICLR/2021 引用数：219
代码：https://github.com/diaoenmao/HeteroFL-Computation-and-Communication-Efficient-Federated-Learning-for-Heterogeneous-Clients

技术点

通道裁剪+静态批处理+类似于dropout的缩放小设计

一些收获

资源异构：不同算力，不同通信能力
提到这种方式的一点局限：局部和全局模型体系结构也在同一个模型类中

系统设计

总体思想

改变隐藏层通道的宽度
在这里插入图片描述
在这里插入图片描述

静态批处理设计原因

深度学习采用批处理归一化(Batch Normalization, BN)来促进和稳定优化---->
FedAvg没用这个方法，因为BN需要对每个隐藏层的表示进行估计，通信成本大，还会隐私泄露---->
提出静态批处理规范化(sBN)，只规范化批数据，不对隐藏层的表示进行估计

SCALER设计原因

局部模型参数会偏离不同的尺度，为了在推理阶段直接使用完整的模型---->dropout
dropout---->类似于切掉部分网络
HeteroFL已经切掉了部分网络---->为了在推理阶段直接使用完整的模型---->
在参数层之后和sBN层激活层之前附加了一个Scaler模块，表示一个缩放---->
这样聚合时就无需进行缩放，直接聚合

回答问题

1.如何定义算力?

没讲，直接根据模型参数大小自己划分

2.如何进行模型缩放？

隐藏层的通道裁剪

3.如何聚合？

简单各自聚合各自的
在这里插入图片描述
每个参数，将从其分配的参数矩阵包含该参数的那些客户端中，取平均值
**小细节：**为每个复杂度的网络，定义了一个固定模型

几篇Client选择

Fair Resource Allocation In Federated Learning

使局部损失大的参与者权重更高，降低准确率分布方差，使模型性能更均匀分布，实现联邦学习公平性

Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies

选择具有较高局部损失的客户端可以实现更快的收敛，和lazy聚合比较类似

Diverse Client Selection Federated Learning via Submodular Maximization

通过子模最大化来选择携带代表性梯度信息的客户端
在这里插入图片描述

FedPAQ: A communication-efficient federated learning method with periodic averaging and quantization

周期性上传+每一轮随机选择客户端+量化

自己想法

结合上文的，资源易构情况下，数据量大的客户端，其loss是否更有价值？

几篇Client聚类---->偏向于数据异构

聚类目的：在非IID数据中找到IID的客户端组成集群，针对集群进行聚合和训练

An Efficient Framework for Clustered Federated Learning

假设客户端被划分到不同的集群中，为每个集群训练模型
主要特性：迭代式聚类/簇间共享
主要挑战：
1.识别每个集群的客户端成员
2.在分布式设置中优化每个集群模型
提出IFCA，估计聚类身份和最小化损失函数之间交替

  • 每一轮，客户端要计算局部损失和自己的身份值
  • 客户端根据身份值来分别聚合
    初始化定义簇个数K，每个簇内的节点都共享一组平均参数
    每一轮迭代，重新计算每个簇的簇心(平均值)，计算每个点新的归属簇
    在这里插入图片描述
    在这里插入图片描述

Clustered Federated Learning: Model-Agnostic Distributed Multitask Optimization Under Privacy Constraints

TNNLS/2020
主要特性：迭代式聚类/簇间不共享

啵啵今天有没有学习
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【论文推荐】了解《动态联邦学习》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
03-27 4270
论文推荐“SFFAI142期来自美国西北大学的王礼旭同学推荐的文章主要关注于基础研究的动态联邦学习领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公众号回复"SFFAI142"获取本主题精选论文01Federated Continual Learning with Weighted Inter-client Transfer (ICML 2021)...
Client Selection for Federated Learning with.pdf
05-02
联邦学习客户端选择文献
毕设之：联邦学习小总结（11.17）
QinZheng7575的博客
03-10 2750
A Field Guide to Federated Optimization 注意目标：通信效率、数据异构性、隐私保护性 服务器和客户机之间的通信必要的，但是会带来大量的传递数据，更新轮数、数据压缩。 数据异构性：非i.i.d.数据，客户的训练样本来自不同的分布。 本地计算 ，客户机会有计算能力的限制；这种计算的不公平有可能导致结果模型的不公平 分层系统很复杂，客户机会掉线、离开、突然加入。 通信信道必须纳入考虑，带宽的限制，通信噪声和不稳定性， B.1介绍了三种FL算法：FedAVG,FedAVGM,F
精读笔记 - HeteroFL:Computation and Communication Efficient Federated Learning for Heterogeneous Clients
最新发布
weixin_44944722的博客
06-08 1055
【博主前言】：HeteroFL是第一个提出客户端模型异构的聚合方案，本篇博客对该文章的算法按模块逐一解释，并对算法的基本流程以通俗语言完整概括一遍。同时对应实验设置比较的角度以及实验结果说明的现象进行一一解读。从研究动机到基本原理再到实验设计。完成一份精读笔记。
联邦学习--论文汇集（六）
weixin_45671820的博客
04-16 637
面向大规模的联邦学习系统设计，感觉像综述。 [1] Bonawitz K , Eichner H , Grieskamp W , et al. Towards Federated Learning at Scale: System Design[J]. 2019. [2] Karimireddy S P , Kale S , Mohri M , et al. SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning[
8. An Efficient Framework for Clustered Federated Learning
doing a 责任心 dataer
04-29 894
An Efficient Framework for Clustered Federated Learning；迭代式聚类；簇间共享；
本人的关于联邦学习的论文
04-25
本人的联邦学习论文， Auditable Federated Learning With Byzantine Robustness 所上传的PDF文件和发表在IEEE网站（https://ieeexplore.ieee.org/document/10107728）上面的版本基本无内容上的差别。目的是为了让...
移动边缘网络中的联邦学习论文导图
03-30
移动边缘网络中的联邦学习论文导图 联邦学习（Federated Learning）是一种分布式机器学习范式，能够在保护用户隐私的同时实现模型训练。移动边缘网络中的联邦学习论文导图对移动边缘网络中的联邦学习进行了总体介绍...
基于无线网络的联邦学习 优化模型设计与分析_无线网络联邦学习_
09-29
本压缩包中的“基于无线网络的联邦学习 优化模型设计与分析”很可能包含了相关的仿真代码和论文，可以作为深入理解无线网络联邦学习优化技术的参考资料。通过阅读和分析这些内容，我们可以了解到如何在实际无线网络...
实验记录总结
weixin_44331906的博客
06-10 860
实验记录 An Efficient Framework for Clustered Federated Learning
联邦学习——基于节点梯度和全局梯度的内积进行节点选择
联邦学习小白
06-15 2826
联邦学习——FedPNS 填上一篇的坑。 《Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data》这篇论文建立在数据异构的基础上，设计了一个选择性地让节点参与模型聚合的概率模型。通过排除不利于全局收敛的节点，提高模型收敛速度和预测精度。 摘要 联邦学习(FL)是一种分布式学习范式，它允许大量资源有限的节点在没有数据共享的情况下协作训练模型。非独立的和同分布的(Non-IID)数据样本造成了全局目标和局部
联邦学习论文整理
weixin_43773486的博客
01-14 1935
部分联邦论文整理-仅供参考-附其他人的整理工作-持续更新..
联邦学习论文阅读一：经典FedAvg
qq_41605740的博客
05-05 8748
联邦学习论文阅读一：经典FedAvg Communication-Efficient Learning of Deep Networksfrom Decentralized Data 论文地址：https://arxiv.org/pdf/1602.05629.pdf
学习链接
甜度超标的博客
10-19 237
联邦学习链接 1.联邦学习FedAvg自编写代码：https://blog.csdn.net/killsoiler/article/details/113861115
CCF A类会议或期刊----近两年联邦学习相关论文
Thincor的博客
03-24 4060
会议/期刊 论文 neurips2020 Lower Bounds and Optimal Algorithms for Personalized Federated Learning. neurips2020 Ensemble Distillation for Robust Model Fusion in Federated Learning. neurips2020 Personalized Federated Learning with Theoretical Guarante....
联邦学习--论文汇总（十一）
weixin_45671820的博客
05-19 1942
回归老本行，Non-iid !!! 【1】SEPARATE BUT TOGETHER: UNSUPERVISED FEDERATED LEARNING FOR SPEECH ENHANCEMENT FROM NON-IID DATA, arXiv:2105.04727v1. 分离但在一起:基于non-iid数据中增强语音的无监督联邦学习 FedEnhance: 一种无监督的联邦学习，用于跨多个客户端non-iid分布式数据的语音增强和分离。迁移学习促进收敛和学习性能。 现状 从高保真的混合声音分离出单独的声
联邦学习---论文汇集(一)
weixin_45671820的博客
03-13 1450
写这篇文章的时候，已经是开学半年了，还没什么进展。 一句话总结：读了很多，但没有理解透彻的。 下面梳理一下脉络，为后面进展做一个总结和展望。 随机梯度下降：梯度：函数的一阶导，可以用斜率表示，表示线的走向（正的过一三象限，负的过二四象限），寻找极值点。 分类 中心化 去中心化 独立同分布（iid） 非独立同分布(non-iid) FedAvg 加权平均 动量 双动量 ...
Advances_and_Open_Problems_in_Federated_Learning.pdf
07-24
“Advances_and_Open_Problems_in_...“Advances and Open Problems in Federated Learning”这篇论文探讨了联邦学习的最新进展，并指出了一系列待解决的开放问题，对于理解联邦学习的现状和未来发展具有重要意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值