联邦学习
文章平均质量分 87
クズの本懐
中山大学本科软件工程在读,实验室方向是机器学习。
展开
-
学习如何挑选梯度:Optimizing Federated Learning on Non-IID Data with Reinforcement Learning
背景和文章思想这篇论文考虑的是Non-IID场景下的联邦学习,传统的联邦学习在Non-IID数据集上的表现比IID数据集上的表现要差很多,而且收敛速度也要慢很多。这篇文章便旨在通过对梯度的挑选来实现收敛速度的提升,但是与我们所知的机制不同的是,后者是有一个确定的策略去选梯度,但是前者的思路是使用深度强化学习方法来“学习”梯度的挑选方式深度强化学习概述深度强化学习,Deep Reinforcement Learning(DRL)目的是为了训练一个代理器agent,该agent在某个状态sts_tst下原创 2021-05-08 22:19:44 · 2270 阅读 · 7 评论 -
Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge
背景传统的联邦学习在当某些客户端的计算资源有限(即需要更长的训练时间)或者在无线信道状况较差(即导致上传时间更长)时,整个训练的过程可能会变得效率低下。这篇文章提出了一个新的FL协议FedCS,可以缓解上述问题。它的一个思想是根据客户端的资源状况来主动管理客户端,然后选择合适的客户端来进行模型聚合FedCS文章提出了一个FedCS协议,下面是该协议的过程:翻译一下上述协议过程:初始化:跟传统联邦一样,服务器随机初始化全局模型资源请求:服务器随机选择K×CK \times CK×C个客户端参与原创 2021-04-24 16:58:53 · 1128 阅读 · 0 评论 -
IPLS : A Framework for Decentralized Federated Learning
背景 & 论文思想今天介绍的还是一篇去中心化联邦学习的文章,与之前分享的一篇去中心化联邦学习文章有一些相似,都是将一个模型进行分片。改文章的死想是每个client都保留一部分分片,在训练模型更新参数的时候,首先从别的client中拿到自己所没有的模型分片组合成一个完成的模型,训练后再将梯度发送给其他的clientIPLS训练模型的方法本篇文章所介绍的训练算法主要分为以下几个部分Initialisation phase: 确定模型的拓扑结构(如ResNet),随机初始化模型的参数,确定优化原创 2021-04-10 17:06:16 · 1138 阅读 · 0 评论 -
Communication-Efficient Federated Learning for Wireless Edge Intelligence in IoT
概述这篇论文的脉络是比较清晰的,讲的就两件事:使用分布式的Adam优化来代替传统的FedAvg,减少通信轮次对模型进行压缩和解压缩,减少通信开销算法框架图整个算法的步骤如上图所示:下载模型本地训练模型压缩上传模型模型解压模型聚合从这里可以看到该论文提出的框架与传统的联邦框架并没有什么不同,唯二的区别在以下两个方面:本地训练使用的方法并不是SGD,而是AdamSGD,这两者的区别在于训练的步长是否发生变化在客户端上多了一个压缩模型的操作,相对应地在服务器上多了一个解压原创 2021-04-02 21:34:01 · 1195 阅读 · 2 评论 -
Federated Learning With Cooperating Devices: A Consensus Approach for Massive IoT Networks
最近在看Federated Learning for IoT的文章,该篇文章讲的是在IoT场景下的去中心化联邦。个人认为该文章是写的比较好的,因为不仅文章故事讲得好(IoT和去中心化确实比较契合,后面会讲),而且对于去中心化联邦的框架也具有不错的两点背景 && 论文思想在IoT的场景中,中心化联邦是不合适的。处于IoT中的设备通常被部署在关键控制应用中,并且在这些应用中,设备不能依赖远程单元进行快速反馈,它们只能与邻居交换信息来实现自我更新。因此,这片文章也是从此出发,使用共识的方式让处原创 2021-03-29 15:53:39 · 985 阅读 · 2 评论 -
Decentralized Federated Learning Preserves Model and Data Privacy
背景今天介绍的还是一篇关于去中心化联邦的论文,这篇论文与之前的区别在于并不是从网络的协议入手,而是利用了迁移学习中的知识蒸馏方法来实现去中心化。这种方法虽然创新性不是很足,但是也许可以与其他架构结合起来,具有一定的启发性问题定义Φ={ϕ1,ϕ2,...,ϕN}\Phi = \{\phi_1,\phi_2,...,\phi_N\}Φ={ϕ1,ϕ2,...,ϕN}为N个client上的模型组成的集合,E={e1,e2,...,eN}E=\{e_1,e_2,...,e_N\}E={e1,e2,..原创 2021-03-19 21:40:11 · 431 阅读 · 0 评论 -
BrainTorrent: A Peer-to-Peer Environment for Decentralized Federated Learning
背景最近想要找一些去中心化联邦的论文看,然后发现了两篇关于Peer-to-Peer的论文,其中一篇是BrainTorrent: A Peer-to-Peer Environment for Decentralized Federated Learning,另外一篇是Peer-to-Peer Federated Learning on Graphs。在这里介绍一下这两篇论文,然后总结一下目前遇到过的去中心化联邦的一般方法和方向...原创 2021-03-13 13:50:41 · 959 阅读 · 0 评论 -
Decentralized Federated Learning: A Segmented Gossip Approach
背景该篇文章从gossip协议中获得启发,旨在设计一个去中心化的联邦训练算法Gossip协议概要gossip协议又称epidemic协议,是基于流行病传播方式的节点或者进程之间交换信息的协议,在分布式系统中被广泛使用,经常被用来确保网络中所有节点的数据一样。我们可以利用gossip协议的这个特性来完成传统FL中的upload和download过程,达到取代中央服务器的作用协议执行过程gossp过程由种子节点发起,当一个种子节点有状态需要更新到网络中的其他节点时,它会随机的选择周围几个节点散播消息原创 2021-03-05 21:02:14 · 2208 阅读 · 4 评论 -
Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation
这是一篇从采样方式去优化联邦学习模型的文章,有点难,看得云里雾里的…要解决的问题这篇文章主要解决的问题是由于不同节点的计算能力/通信能力不同,如果在进行采样的时候采到了这些节点,那么在这个节点上的很多数据都用不上,导致这些数据的信息被浪费掉。为了解决这个问题,论文采用了data offloading的方式将这些数据共享到其他节点上去,利用其他节点的更强大的计算能力/通信能力来将这些数据的信息利用起来Data Offloading数据分流(data offloading)这个概念出现在通信网络的场景中原创 2021-01-22 23:13:33 · 412 阅读 · 0 评论 -
FetchSGD: Communication-Efficient Federated Learning with Sketching
背景现有的联邦学习方法存在通信瓶颈和收敛性两个问题,该篇论文介绍了一种新的FL训练方法,叫做FetchSGD,旨在解决上述两个问题。论文思想该论文的主要思想是,用Count Sketch来对模型参数进行压缩,并且根据sketch的可合并性(mergeability)在服务器上对模型进行聚合。由于Count Sketch是线性的,因此局部模型上的momentum(不知道怎么翻译好,动量?)和error accumulation(错误累计)都会被带到服务器上,我们便可以在服务器上基于这些信息得到一个更佳的原创 2021-01-02 18:11:32 · 1858 阅读 · 5 评论 -
A Hybrid Approach to Privacy-Preserving Federated Learning
背景差分隐私(Differential Privacy)隐私其实是一个很微妙的定义,在机器学习领域,这个定义变得更加模糊,考虑以下场景:高德地图曾在《2016年度中国主要城市交通分析报告》中统计了各类车型车主最爱去的场所,结果显示奔驰车主住别墅,宝马车主爱购物,沃尔沃车主很文艺,…,而凯迪拉克车主偏爱去洗浴中心那么对于以下两个场景:小a是一位凯迪拉克车主,他爱去洗浴中心(属于隐私泄漏)假设我们已经得知了凯迪拉克车主爱去洗浴中心这一统计结果,然后又知道小a是一名凯迪拉克车主,因此我们猜测小a爱去原创 2021-01-01 21:37:52 · 1358 阅读 · 4 评论 -
VAFL: a Method of Vertical Asynchronous Federated Learning
背景和动机旨在提出一个异步垂直联邦学习框架保证数据的安全性提高传输效率论文贡献本篇论文提出了:一个对于垂直联邦学习框架通用的最优化公式( optimization formulation)灵活的异步训练架构严格的收敛分析(这里不作说明)垂直联邦学习(Vertical FL)与我们常见的联邦学习(水平联邦学习)不同的是,垂直联邦学习或基于特征的联邦学习适用于两个数据集共享相同的样本空间但是特征空间不同的情况。例如,考虑在同一城市中的两家不同的公司,一家是银行,另一家是电子商务公司。原创 2020-12-18 23:04:55 · 974 阅读 · 5 评论 -
FEDAT:A Communication-Efficient Federated Learning Method With Asynchronous Tires Under Non-IID Data
背景目前的联邦学习架构存在着以下问题:流浪者问题(straggler problem):由于数据的异构和通信效率的不一致,中央服务器需要等待最慢的那个设备把数据返回之后才能进行下一轮的训练大量的设备需要将自身的模型参数上传给服务器,这构成了系统的传输瓶颈并且现有的很多联邦学习算法不能同时解决上面两个问题,一些研究者基于传统的联邦学习算法提出了异步训练的新训练架构,但是这种新的异步训练方法往往会造成更严重的通信开销贡献本篇论文为了解决上面两个问题,提出了一种新型的联邦学习方法FedAT,这种算原创 2020-12-11 22:13:51 · 2819 阅读 · 8 评论 -
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
背景传统的联邦学习在数据异构(non-iid)的场景中很容易产生“客户漂移”(client-drift)的现象,这会导致系统的收敛不稳定或者缓慢贡献提出了考虑到client sampling和数据异构的一个更接近的收敛边界证明即便没有client sampling,使用全批次梯度(full batch gradients),传统的FedAvg依旧会因为client-drift而比SGD收敛速度更慢提出Stochastic Controlled Averaging algorithm(S原创 2020-12-06 23:49:19 · 3502 阅读 · 3 评论