Think Locally, Act Globally: Federated Learning with Local and Global Representations

最新推荐文章于 2024-06-08 10:06:04 发布
最新推荐文章于 2024-06-08 10:06:04 发布
阅读量1.6k 收藏
点赞数
分类专栏： Federated Learning 文章标签： Federated Learning paper read
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengdan90/article/details/102705799
版权
该博客介绍了NeurIPS 2019工作坊中的一项研究，提出了一种名为LG-FedAvg的联邦学习方法，通过在节点上训练局部表示和全局网络，并在服务器端进行加权聚合，减少通信开销。同时，文章还探讨了公平表示学习，以辅助理解。这种方法的优势在于显著降低了通信量。
摘要由CSDN通过智能技术生成

Think Locally, Act Globally: Federated Learning with Local and Global Representations

  • NeurIPS 2019 workshop

1. Method

1.1 LG-FedAvg

  • 通过各节点的本地数据 X k , Y k X_k, Y_k Xk​,Yk​训练local representation（其中 Y k Y_k
最低0.47元/天 解锁文章
小北90
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Machine Learning Modeling Data Locally and Globally
01-29
机器学习 作者 Kaizhu Huang Haiqin Yang Irwin King Michael Lyu
「隐语小课」联邦学习之Non-IID问题
m0_69580723的博客
09-15 1693
联邦学习、水平联邦学习
LG-FedAvg略读
qq_38241346的博客
12-04 1596
Think Locally, Act Globally:Federated Learning with Local and Global Representations略读 最大的贡献： server为part（后面）模型，只做汇总，不做训练。 client节点分成前后两个part，前后区分以server为区分点，只需要将后部分的parameter传给server（communication cost变少） 具体算法见下图： ...
分布式学习新篇章：LG-FedAvg——本地与全局表示的联邦学习
最新发布
gitblog_00002的博客
06-08 380
分布式学习新篇章：LG-FedAvg——本地与全局表示的联邦学习 项目地址:https://gitcode.com/pliang279/LG-FedAvg 在这个数据隐私日益受到重视的时代，LG-FedAvg 是一个革命性的开源项目，它为分布式机器学习提供了新的视角。该项目由CMU的研究者开发并实施在PyTorch框架中，旨在实现局部和全局表示的联邦学习，兼顾模型性能与用户数据的安全。 项目介绍 ...
【个性化联邦学习】Towards Personalized Federated Learning 论文笔记整理
weixin_44270151的博客
10-21 5716
尝试记录一下最近看的论文，顺便当个笔记同步了。这篇是个性化联邦学习的综述，Towards Personalized Federated Learning。
NeurIPS 2019 Federated Learning Accepted Paper
柯同学要谦虚
04-13 544
Improving Federated Learning Personalization via Model Agnostic Meta Learning Problems FL applications generally face non-i.i.d and unbalanced data available to devices, which makes it challenging to ensure good performance across different devices with a
联邦学习研究方向及论文推荐（一）
weixin_74181752的博客
06-03 1757
关于联邦学习的概念在网上资源丰富，但是考虑到有些同学在接触时缺少对研究方向细致了解而困恼，根据一些综述论文博客等资料为大家做个易于理解的详细介绍。由于内容较多且分为两部分。
LG-Fedavg
f_t_l的博客
08-09 305
on each device: for learning useful and compact features from raw data (看不懂，这一点在论文里没有体现)减小了服务器和客户端之间的通信开销(没仔细看)通过个性化模型解决non-i.i.d问题 （参考）
locally-app:与@evilghostgirl @Firemanpl @Krizzuu合作
04-04
开始之前在开始项目之前，请先输入以下内容： git clone https://github.com/TomaszKisiel/locally-app 然后通过以下方式安装所有依赖项： npm install 然后输入以下内容开始： npx react-native start在iOS上开始要...
Dandelion: A Locally-High-Performance and Globally-High-Scalability Hierarchical Data Center Network
02-10
The increasing customer demand is driving modern data centers to embrace the freely-expandable network architecture. Unfortunately, state-of-the-art freely-expandable networks suffer from either the ...
Scable Algorithms for Multi-Instance Learning (miVLAD and miFV)
01-05
**Scable Algorithms for Multi-Instance Learning (miVLAD and miFV)** 多实例学习（Multi-Instance Learning, MIL）是一种机器学习框架，它在处理不确定性和不完整性数据时非常有效，尤其适用于图像识别、文本...
基于WEKA的聚类分析算法
03-24
基于WEKA软件实现金融领域数据挖掘分析案例，分别使用随机森林，支持向量机等算法对大数据进行聚类分析，得出结论
Identification and separation of local and nonlocal optical nonlinear refraction effects: theory and experiment
01-26
Herein, we theoretically and experimentally investigate the simultaneous presence of third-order locally refractive nonlinearity and thermally induced nonlocal nonlinearity saturation. We present ...
pFedHN论文阅读笔记
联邦学习小白
06-25 1649
《Personalized Federated Learning using Hypernetworks》提出一种用于个性化联邦学习的方法“pFedHN” （personalized Federated HyperNetworks）。该方法通过训练中央超网络模型，实现跨客户端的参数共享，并为每个客户端生成独特的个性化模型。 该方法的创新点主要有以下两点： 1、该超网络具备较强的泛化能力，即便（a）新的客户端的数据分布不同于训练时的客户端，（b）新的客户端具备不同的计算性能（这使得不同客户端可以训练不同规模的
A survey on federated learning联邦学习综述
m0_67661689的博客
11-25 380
假设N个用户{U1，U2，……，Un}，拥有自己的数据库{D1，D2，……，Dn}，并且每个人都不能直接访问别人的数据来扩展自己的数据。如图1所示,它包含三个基本步骤：（1）服务器向每个设备发送初始模型。（2）设备Ui不需要共享自己的源数据，而是可以用本地数据Di训练自己的模型Wi。（3）服务器聚合本地模型{W1,W2,...,Wn}形成W′，然后用其替换每个客户端的本地模型。随着大数据和人工智能的发展，公众对隐私的要求越来越严格。因此，联邦学习应运而生，这是一种跨平台隐私保护的新解决方案。
Think Globally, Fit Locally ——博客开篇
阅读 记录 思考 实践
01-08 1126
前言： 1.    首先应假设数据不是分布在闭合的球面或椭球面上 2.    LLE是最新提出的非线性降维方法，该算法既具有处理非线性数据的优点又有线性降维方法计算性能得优越性。简单讲，该方法是将高维流形用平面代替，然后在低维中重新拼合出来，且要求保留各点之间的拓扑关系不变。整个问题最后被转化为两个二次规划的问题。 无指导学习的两大目的： 1.    密度估计：学习概率模型的参数 2. 
论文阅读（联邦学习）：Exploiting Shared Representations for Personalized Federated Learning
qq_43250196的博客
02-13 2741
论文阅读（联邦学习）：Exploiting Shared Representations for Personalized Federated Learning
Privacy-Preserving Machine Learning Using Federated Learning and Secure Aggregation
05-04
Privacy-preserving machine learning is becoming increasingly important in today's world where data privacy is a major concern. Federated learning and secure aggregation are two techniques that can be used to achieve privacy-preserving machine learning. Federated learning is a technique where the machine learning model is trained on data that is distributed across multiple devices or servers. In this technique, the model is sent to the devices or servers, and the devices or servers perform the training locally on their own data. The trained model updates are then sent back to a central server, where they are aggregated to create a new version of the model. The key advantage of federated learning is that the data remains on the devices or servers, which helps to protect the privacy of the data. Secure aggregation is a technique that can be used to protect the privacy of the model updates that are sent to the central server. In this technique, the updates are encrypted before they are sent to the central server. The central server then performs the aggregation operation on the encrypted updates, and the result is sent back to the devices or servers. The devices or servers can then decrypt the result to obtain the updated model. By combining federated learning and secure aggregation, it is possible to achieve privacy-preserving machine learning. This approach allows for the training of machine learning models on sensitive data while protecting the privacy of the data and the model updates.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值