论文笔记
smile_and_ovo
这个作者很懒,什么都没留下…
展开
-
ASGD-异步随机梯度下降(论文笔记)
ASGD-异步随机梯度下降(论文:一种 Yarn 框架下的异步双随机梯度下降算法)随机梯度下降在模型迭代过程中利用随机选取的某个训练样本去计算梯度并完成模型参数更新,具有计算量小、收敛速度快以及模型效果好。但难以直接实现并行环,采用并行化技术,算法执行效率不高。异步随机梯度下降(ASGD)将模型参数迭代更新过程分割成三个原子操作:模型参数读取、模型参数更新、梯度计算,利用梯度延迟实现在在多核系统和分布式系统中并行。在多核系统中,异步随机梯度下降算法利用多线程和共享内存技术加以实现;在原创 2021-03-03 15:53:58 · 3689 阅读 · 2 评论 -
论文笔记—联邦学习中的隐私保护研究进展
联邦学习中的隐私保护研究进展论文对当前联邦学习中常用的一些隐私保护方法进行了分析总结,主要包括安全多方计算、同态加密、差分隐私。但是其中貌似有些问题,论文中指出纵向联邦是主要针对各参与方的数据有相同或相似的特征空间但样本不同的情况,并举了个例子:两家来自不同地域的银行。在杨强教授团队编写的《联邦学习》中文版书中,该概念指的却是横向联邦。(针对类似概念建议参考该书中的内容)https://blog.csdn.net/GJ_007/article/details/103010762其中的原创 2020-12-30 15:49:08 · 1771 阅读 · 0 评论 -
论文笔记-基于联邦学习和卷积神经网络的入侵检测方法
基于联邦学习和卷积神经网络的入侵检测方法论文提出了联邦学习在入侵检测方面的应用,将联邦学习与卷积神经网络相结合。在确保数据安全情况下,联合多方进行训练,同时还达到了扩充数据量的目的。数据预处理:将数据集中符号数据数值化,然后进行归一化,是不同维度的数据规范化后具有可比性。最后将一维数据序列转化为二维矩阵格式,使卷积神经网络可以进行处理。FC算法1)每个参与者从第三方服务器获得初始的DCNN模型;2)每个参与者用本地数据进行模型训练;3)参与者将训练几轮后的中间结果上传至第三方原创 2020-05-20 21:12:58 · 2445 阅读 · 8 评论 -
论文笔记——Fair Resource Allocation in Federated Learning
论文笔记——Fair Resource Allocation in Federated Learning原文论文链接——http://www.360doc.com/content/20/0501/14/10240337_909607047.shtml联邦学习领域一些新出论文,参考www.360doc.com/content/20/0501/14/10240337_909607047.shtml介绍了几篇论文,可以参考学习联邦学习的一大发展是FedAVG算法提出后,该算法提出后,相当于是一个比原创 2020-05-14 10:42:18 · 1780 阅读 · 0 评论 -
论文笔记——分布式深度学习框架下基于性能感知的DBS—SGD算法
论文笔记——分布式深度学习框架下基于性能感知的DBS—SGD算法分布式深度学习框架下基于性能感知的DBS—SGD算法这篇论文里各个细节都讲得特别清楚。充分考虑了各个客户端端点的异构性,同时考虑了异步训练过程中梯度过时得到问题。对各节点的minibatch进行动态分配,保证了节点间每次迭代更新的时间基本一致,进而降低了节点的平均梯度过时值。分布式架构中的参数服务器参...原创 2020-04-30 20:47:35 · 481 阅读 · 0 评论 -
论文笔记——Asynchronous Decentralized Parallel Stochastic Gradient Descent
论文笔记——Asynchronous Decentralized Parallel Stochastic Gradient Descent改变了中心化的结构,使用了分布式的结构算法过程每个worker在其本地内存中维护一个本地模型 ,并(以workeri为例)重复以下步骤: 样本数据:样本由{ } 表示的一小批训练数据,其中M是batch size。 计...原创 2020-04-27 11:32:28 · 1148 阅读 · 0 评论 -
论文笔记——Model Pruning Enables Efficient Federated Learning on Edge Devices
论文笔记——Model Pruning Enables Efficient Federated Learning on Edge Devices原文见论文题目论文将剪枝与联邦学习结合起来。针对服务器端是否有可用样本分为:基于样本剪枝和无样本剪枝称以下过程为一个联邦:联邦剪枝在初始剪枝之后,除了标准的联邦学习过程外,系统还可以进一步执行重复的训练和剪枝操作。这里,系统执行...原创 2020-04-18 11:38:22 · 1681 阅读 · 1 评论 -
论文笔记——Asynchronous Stochastic Gradient Descent with Delay Compensation
论文笔记——Asynchronous Stochastic Gradient Descent with Delay Compensation论文对ASGD算法进行了改进,对具有延迟的梯度设计了新的更新规则。ASGD下图为ASGD训练过程,梯度gt应该对应模型wt,但是由于延迟,在参数服务器接收到时,模型已经更新到了wt+τ,ASGD对于延迟的梯度不做处理。论文利用泰勒展开,将梯...原创 2020-04-18 11:26:54 · 1522 阅读 · 0 评论 -
论文笔记——Federated learning framework for mobile edge computing networks
论文笔记——Federated learning framework for mobile edge computing networks本论文着重研究的是联邦学习应用于需求预测类问题。一般来说,FL存在的一些问题:非独立同分布数据。客户训练数据集各不相同,给定的本地训练数据集不代表人口分布。 不平衡数据集。每个客户的本地训练数据量不同。这意味着不同客户对训练价值观的可靠性不同,因为...原创 2020-04-11 10:06:15 · 1506 阅读 · 0 评论 -
论文笔记 ASYNCHRONOUS FEDERATED OPTIMIZATION
论文笔记 ASYNCHRONOUS FEDERATED OPTIMIZATION论文中提出了一种异步联邦优化算法。联邦优化的同步特性是不可伸缩的、低效的和不灵活的。同时签入的设备过多会导致服务器端的网络拥塞。在每个全局epoch中,服务器仅限于从可用设备的子集中选择以触发训练任务。经典的异步SGD在每次本地更新后直接向服务器发送梯度,这对于边缘设备来说是不可行的,因为它的通信不可靠且缓...原创 2020-03-26 16:51:59 · 2440 阅读 · 1 评论 -
论文笔记Client-Edge-Cloud Hierarchical Federated Learning
论文笔记Client-Edge-Cloud Hierarchical Federated Learning本文针对FedAvg算法带来的大量的通信开销和边缘计算提出了一种新的结构以及HierFAVG算法。FedAvg是基于云的联邦学习,本地各个客户端利用本地数据进行训练,将训练好的模型参数上传到云服务器中。参与的客户端数量可达百万,但是带来的开销也是巨大的。与云服务器的通信速度慢且不可预测...原创 2020-03-18 14:45:52 · 3214 阅读 · 3 评论 -
Federated Learning with Non-IID Data 论文笔记
Federated Learning with Non-IID Data 论文笔记论文通过实验验证了,在non-IID数据中,使用FedAvg算法训练的模型会使准确率降低。从图中可以看出在non-IID使用FedAvg算法训练的模型准确率有了明显的下降,但是对于IID数据的准确率几乎没有影响。为了探究原因,原文采用了两种不同程度分布的数据:non-IID1和non-IID2。从图中...原创 2020-03-10 10:32:00 · 3878 阅读 · 16 评论