![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
论文笔记
文章平均质量分 85
Zoran_卓
这个作者很懒,什么都没留下…
展开
-
Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation 论文笔记
本文提出使用使用联邦蒸馏 (federated distillation FD)和联邦增强(federated augmentation FAug)来解决联邦学习中客户端数据非独立同分布和客户端之间通讯开销大的问题。Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data NIPS 20181.联邦蒸馏在传统的联邦学原创 2021-05-20 20:25:13 · 2084 阅读 · 0 评论 -
Dataset Distillation论文笔记
本文提出了一种称为数据集蒸馏的方法:保持模型不变,尝试从一个大型训练数据集提取知识到一个小的数据集。其思想是合成少量的数据(每个类别一个数据),这些数据不需要来自正确的数据分布,但是当作为模型的训练数据时,训练得到的模型将近似于在原始数据上训练的模型。论文地址:https://arxiv.org/pdf/1811.10959.pdf代码地址:https://github.com/SsnL/dataset-distillation算法细节 标准的训练通常是在小批量上做随机梯度下降,每一步t从原创 2021-01-04 20:08:33 · 1989 阅读 · 0 评论 -
Ensemble distillation for robust model fusion in federated learning论文笔记
本文将集成蒸馏运用在联邦学习的模型融合中,并且可以通过未标记的数据或者生成器生成的数据(例如gan)来进行进行模型融合。这让不同客户端的模型异构的前提下,降低了数据隐私泄露的程度。同时实验表明,本文提出的方法练速度更快,比任何现有的FL技术所需的通信轮数更少。论文地址:ENSEMBLE DISTILLATION FOR ROBUST MODEL FUSION IN FEDERATED LEARNING 2019 NIPS算法细节模型同构的情况下,对于每一轮可以分为两个步第一步:和FedAv原创 2020-11-20 19:46:24 · 4648 阅读 · 3 评论 -
FedMD: Heterogenous Federated Learning via Model Distillation论文笔记
本文提出使用迁移学习和知识蒸馏开发了一个联邦学习框架FedMD,此框架允许不同的客户端根据其计算能力设计不同的网络结构,并且保护数据集的隐私安全和模型的隐私安全条件下联合训练出一个模型。论文地址:[FedMD: Heterogenous Federated Learning via Model Distillation 2019 NIPS](https://arxiv.org/abs/1910.03581?context=cs)算法细节本文设有一个共享数据集D0D_{0}D0,每个客户端原创 2020-11-12 21:54:10 · 3714 阅读 · 7 评论 -
联邦学习&&集成学习
1.Federated ForestIEEE Transactions on Big Data 2020 该文章在纵向联邦学习(客户端有相同的样本但特征空间不相同)方向上提出了一个基于CART树和bagging的联邦森林框架,它既能处理分类问题,又能处理回归问题。这个框架具有一定的隐私保护,预测是通信负担不高。 首先,先本文假设有数据标签y为主服务器(只有一个),没数据标签的为客户机,主服务器和客户端加起来总数为M,主服务器有标签y,并将加密后的标签y分发给其它客户端。主服务器和客户端的数据特征原创 2020-10-30 10:20:04 · 3165 阅读 · 5 评论 -
【论文翻译】 Residual Networks Behave Like Ensembles of Relatively Shallow Networks
&nb.转载 2020-10-14 15:20:01 · 304 阅读 · 0 评论 -
Federated Learning with Non-IID Data 论文笔记
本文提出联邦学习中的由于Non-IID数据分布而精度降低是因为权重分散(weight divergence),而权重散度可以用搬土距离(EMD)量化,最后提出了一种策略:通过创建一个在所有边缘设备之间全局共享的数据子集来改进Non-IID数据的训练以此来提高模型精度。。论文地址:Federated Learning with Non-IID Data 联邦学习使资源受限的边缘计算设备(如移动电话和物联网设备)能够学习用于预测的共享模型,同时保持训练数据的本地性。这种分散的训练模型方法提供了隐私、原创 2020-10-04 11:20:19 · 3767 阅读 · 3 评论 -
Communication-Efficient Learning of Deep Networks from Decentralized Data 论文笔记
本文出自论文[添加链接描述](https://arxiv.org/abs/1602.05629),本文提出了一种基于迭代模型平均的深层网络联合学习方法(Federated Averaging,FedAvg)解决 联邦学习中数据Non-IID 和不平衡的问题,并对五种不同的模型结构和四种数据集进行了广泛的实证评价。原创 2020-09-28 11:52:15 · 821 阅读 · 1 评论