![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
联邦学习/分布式机器学习
文章平均质量分 95
联防学习与分布式机器学习相关的知识,论文。
kaiserqzyue
高墙不应该阻止知识的传播
展开
-
二十多篇文献带你读懂分布式学习与联邦学习优化思路 调度优化 压缩算法 聚合算法
联邦学习的提出是为了解决用户隐私问题。在其提出后得到了迅速的发展。联邦学习研究方向包括聚合算法、安全协议、通信效率等方面。通信效率方面的研究指通过一系列新的算法减少通信数据量或者改进通信架构来提高数据交换的效率。本文对该方面的研究论文进行总结分析,主要介绍整个研究现状、研究进度以及存在的困难和挑战。原创 2024-02-08 10:27:50 · 1711 阅读 · 0 评论 -
TSEngine:联邦学习下一种高效的通信架构 TSEngine论文精读
在传统的参数服务器架构下,魔性的传递通信耗时巨大,作者提出了一种新的架构:TSEngine,该架构能直接应用到已有的参数服务器架构下,作者已将代码开源。原创 2022-11-22 14:29:02 · 687 阅读 · 0 评论 -
联邦学习开山之作:Communication-Efficient Learning of Deep Networks from Decentralized Data 带你走进最初的联邦学习 论文精读
该论文是最早提出联邦学习的论文,作者结合背景提出了联邦平均的算法,并作了相应验证实验。原创 2022-11-17 11:04:50 · 3771 阅读 · 2 评论 -
联邦学习是什么?联邦学习简介
在大多数情况下,数据分散的保存在各个企业手中,而各个企业希望在不公开自己数据的情况下,联合其他企业(利用各个企业所持有的数据)一起训练一个模型,该模型能够帮助企业获取更大的利益。对于收集零散的数据,传统的方法是通过搭建一个数据中心,在数据中心对模型进行训练,但随着越来越多的法律限制加上数据拥有者不愿意透露自己的数据,这种方法已经渐渐行不通了。定义:联邦学习(federated learning),全称联邦机器学习(federated machine learning),为了解决联合训练模型时的隐私问题,提出原创 2022-11-15 10:37:52 · 12870 阅读 · 6 评论 -
分布式机器学习的地域性问题怎么解决? DLion: Decentralized Distributed Deep Learning in Micro-Clouds 论文精读
DLion (acm.org)由于智能手机的普及,边缘设备会获得越来越多的用户数据,但是将所有的用户数据收集到数据中心进行分布式训练是不现实的,这主要设计用户隐私的问题。同时如果直接将收集到的数据在用户的本地进行计算,当模型太大的时候,由于边缘设备的性能原因,此时训练会力不从心。由于上述的两点原因作者希望提出一种基于微型云计算的分布式架构。边缘设备的普及产生了大量的数据,向传统的方式建立数据中心面临着两个问题:联邦学习的提出是为了解决隐私问题,该方法会直接在边缘设备进行训练,但是当模型过于大的时候,即使边缘原创 2023-03-06 16:32:33 · 301 阅读 · 0 评论 -
如何解决ASGD中的“STALENESS“?Staleness-aware Async-SGD for Distributed Deep Learning给你一个解 论文精读
来说,可以不用等待所有工作结点完成本轮计算,而是没有一个工作结点完成计算,该工作结点更新后可以直接进行下一轮的计算,这导致了新的问题:梯度过期,即结点正在计算的参数可能落后于当前的最新的参数。之前一些相关工作通过指数级别的学习率减少能够在结点数量较少的分布式系统上有着不错的效果,但是在大型的分布式系统的时候,学习率会随着训练的进行变成一个特别小(接近于。的收敛程度会极大的收到超参数(例如学习率和批量大小)和分布式系统的实现方式(例如同步协议,结点的个数)的影响,而目前缺少关于设置超参数来改善。原创 2023-03-02 16:40:39 · 223 阅读 · 0 评论 -
超出认知的数据压缩 用1-bit数据来表示32-bit的梯度 语音识别分布式机器学习 梯度压缩 论文精读
介绍1−bit论文内容。原创 2023-02-27 15:23:03 · 565 阅读 · 0 评论 -
分布式计算中如何进行高效的参数聚合?Ako: Proceedings of the Seventh ACM Symposium on Cloud Computing 论文精读
读了论文后的记录以及部分自己的想法。原创 2023-02-22 16:42:08 · 451 阅读 · 0 评论 -
Revisiting Distributed Synchronous SGD 带有Back-up机制的分布式同步SGD方法 论文精读
需要注意的是,虽然叫做异步算法,但是上述的过程还是存在一些同步机制,例如工作结点在从参数服务器读取参数的时候,必须要保证读取到的参数比上一轮读取到参数新(如果不这样,那么工作结点就会做多余的计算,当然这往往是必然的,因为在自己进行下一轮的读取的时候,自己本轮的参数应该会上传到服务器进行更新),也就是说在读取参数的时候不需要所有的工作结点都完成自己本轮的工作再上传参数,这也就是异步的意思。参数服务器会收集本轮工作结点梯度信息(梯度信息带有时间戳,会丢弃之前的梯度,因为可能在进行新的一轮的时候,之前的。原创 2023-02-19 15:02:59 · 582 阅读 · 0 评论 -
eSGD(edge SGD) 边缘设备进行分布式机器学习的参数聚合策略实现高效通信 论文精读
这篇论文比较短,但是提出的方法确很不错。本文通过选取重要的梯度进行更新而减少通信的开销,属于第一种方式。本篇论文是2018年的论文,属于比较新的论文(现在是2023年)。原创 2023-02-15 13:21:38 · 587 阅读 · 0 评论