Federated Learning 联邦学习概述及最新工作

最新推荐文章于 2024-11-21 18:00:34 发布
最新推荐文章于 2024-11-21 18:00:34 发布
阅读量1.5k 收藏 10
点赞数 1
分类专栏： 论文研读 文章标签： 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Always_ease/article/details/117924851
版权
本文概述了联邦学习的主流应用场景，包括Horizontal、Vertical和Transfer Learning，并介绍了Split Learning及其优势与不足。SplitFed是FL与SL的结合，旨在克服两者缺点。文章还探讨了联邦学习中的激励机制和非IID数据问题，并提到了知名平台的相关工作。
摘要由CSDN通过智能技术生成

声明：以后会逐渐转移到某乎啦，有兴趣的伙伴可以关注：霁月

 

一、目前主流的联邦学习应用场景

 

Cross-silo FL

Cross-device FL

Setting

Training a model on siloed data. Clients are from different organizations (e.g. medical or financial) or geo-distributed datacenters.

The clients are a very large number of mobile or IoT (物联网) devices

医疗方面，可能有未来的家庭医生hhh

Data

distribution

Data is generated locally and remains decentralized.

Distribution

scale

Typically 2 - 100 clients.

Massively parallel, up to 10^10 clients.

Addressability

Each client has an identity or name that allows the system to access it specifically.

Clients cannot be indexed directly (i.e.,

no use of client identifiers).

不知道哪些数据已经收集，有重复手机训练的可能性

最低0.47元/天 解锁文章
联邦学习(Federated Learning) 原理与代码实例讲解
AI天才研究院
07-21 1096
联邦学习(Federated Learning) - 原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在当今数据驱动的世界中，数据的集中化带来了巨大的价值，但也引发了对个人隐私和数据安全的担忧。传统机
AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的分类详解(纵向联邦学习/横向联邦学习)、使用方法、实战案例之详细攻略
头部AI社区或平台如有邀请博主AI技术主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-21 3045
​ AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的分类详解(纵向联邦学习/横向联邦学习)、使用方法、实战案例之详细攻略 目录 联邦学习的分类详解(纵向联邦学习/横向联邦学习) 联邦学习的使用方法 联邦学习的实战案例 相关文章 AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史)、系统及其架构、场景应用之详细攻略 AI之FL：联邦学习(Federated Learning，分布
纵向联邦学习
武天旭的博客
03-16 1万+
一、纵向联邦学习的定义 纵向联邦学习（VFL）一般是适用于数据集上具有相同的样本空间、不同的特征空间的参与方所组成的联邦学习场景，纵向联邦学习也可以理解为按特征划分的联邦学习。 举个例子，我们假设有两家公司A和B想要协同地训练一个机器学习模型，每一家公司都拥有各自的数据。例如保险公司与银行合作，根据同一用户的购买历史与消费习惯，为该用户提供定制化的服务；医院与制药公司合作，通过利用同类患者的医疗记录，从而治疗患者的慢性疾病，并降低患者未来住院治疗的风险。
【论文代码】Federated learning benchmark LEAF详解（一）
erquechengxuyuan的博客
01-19 1054
LEAF : A Benchmark for Federated Settings 官方项目分析
【隐私计算&大模型】联邦深度学习之拆分学习Split learning原理及安全风险、应对措施以及在大模型联合训练中的应用案例
源泉的小广场
11-21 2086
拆分学习、分割学习、split learning、深度学习、联邦学习、联邦深度学习、安全风险、安全性加强、安全攻防、mpc、联邦GNN、联邦DNN、联邦大模型
联邦学习学习记录-初步
qq_39103283的博客
08-03 433
2021年8月3日 联邦学习概念 大数据是人工智能发展的燃料和助推剂，但是现实中数据很多是小规模且碎片化的，高质量和大数据量的训练数据很难获得。数据规模小，或者缺少标签，或者缺少部分重要特征值等，面临数据孤岛现象。 Federatd Learning联合多个参与方建立一个基于分布数据集的可共享的联邦学习模型，需兼顾隐私保护和数据安全。 1、 模型训练阶段，模型相关的信息可以在各方之间交换(加密形式)，但是数据不能交换。 2、 模型推理阶段，训练好的联邦学习模型可以放置于联邦学习系统的各参与方，也可以供多方共
FedDefender: Client-Side Attack-Tolerant Federated Learning
volcan的博客
03-06 955
与现有的大部分方法不同，FedDefender是在客户端层面的防御机制。方法叠的有点多。
联邦学习基础介绍
weixin_44458771的博客
09-19 6419
联邦学习（Federated Learning）是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，不需要交换本地数据，仅通过交换模型参数或中间结果来构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡。
联邦学习（Federated Learning）
热门推荐
培根芝士的专栏
11-26 4万+
联邦学习简介 联邦学习（Federated Learning）是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。 联邦学习的系统构架 以包含两个数据拥有方（即企业 A 和 B）的场景为例介绍联邦学习的系统构架。该构架可扩展至包含多个数据拥有方的场景。假
【论文阅读——SplitFed: When Federated Learning Meets Split Learning】
qq_45467608的博客
04-11 1716
联邦学习（FL）和分割学习（SL）是两种流行的分布式机器学习方法。两者都采用了模型对数据的场景；客户端在不共享原始数据的情况下训练和测试机器学习模型。由于机器学习模型的架构在客户端和服务器之间分割，SL提供了比FL更好的模型隐私性。此外，分割模型使SL成为资源受限环境的更好选择。然而，由于在多个客户端之间基于中继进行训练，SL的速度比FL慢。
论文阅读笔记—Model-Contrastive Federated Learning(Abstract)
qq_42447728的博客
09-08 285
联邦学习使(enables)多方(multiple parties)能够在不交流(without communicating)本地数据的情况下协作(collaboratively)训练机器学习模型。联合学习中的一个关键挑战(A key challenge)是处理(handle)跨各方(across parities)的本地数据分布(local data distribution)的异构性(heterogeneity)。
federated-learning:关于联邦学习的所有内容（论文，教程等）-联邦学习
05-13
联邦学习 Federated Learning Everything about federated learning. Your contribution is highly valued! 关于联邦学习的资料，包括：介绍、综述文章、最新文章、代表工作及其代码、数据集、论文等等。 欢迎一起贡献！ 目录 1. 教程 Tutorial 文字 PPT (AAAI-19) (AAAI-19) 视频 GDPR, Data Shortage and AI (AAAI-19 Invited Talk) 新闻 2019/02/09 谷歌发布全球首个产品级移动端分布式机器学习系统，数千万手机同步训练 2. 相关论文 Related Papers 综述与介绍 Survey And Introduction arXiv 201912 - Advances and Open Problems in Fede
探索未来学习之路：推荐 SplitFed —— 联邦学习与分割学习的创新融合
gitblog_00069的博客
06-26 596
探索未来学习之路：推荐 SplitFed —— 联邦学习与分割学习的创新融合 去发现同类优质开源项目:https://gitcode.com/ 在当今大数据和隐私保护日益受到重视的时代，如何既能利用分散在全球的数据进行高效学习，又能保障用户的隐私信息不被泄露？答案就是我们今天要推荐的开源项目——SplitFed。这是将联邦学习（Federated Learning）与分割学习（Split Lear...
AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史)、系统及其架构、场景应用之详细攻略
头部AI社区或平台如有邀请博主AI技术主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-27 1万+
​ AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史/系统及其架构)、系统及其架构、场景应用之详细攻略 目录 联邦学习的简介 联邦学习系统及其架构 联邦学习的场景应用 联邦学习的简介 1、联邦学习诞生的背景 背景 随着公众对保护隐私数据诉求的日趋强烈，以及政策制定者也越来越意识到隐私的重要性。同时，在数据实践中，对保护隐私的机器学习的需求也正在上升，对于数据的访问受到越来越多的审查，对联邦
Label Inference Attacks Against Vertical Federated Learning
Seaern的博客
04-01 1299
USENIX Security 2022 摘要： 随着欧盟《通用数据保护条例》、中国《中华人民共和国数据安全法》等法案的颁布实施，联邦学习（Federated Learning，FL）作为一种具有隐私保护属性的分布式机器学习模型训练范式，日益被各大互联网公司所重视。 FL中的分支之一，水平联邦学习（Horizontal Federated Learning，HFL）适用于如下场景：各个训练参与者（或称数据提供者，以下统一称为“参与者”）的数据集在特征空间对齐，而在样本空间互不重叠；例如两个不同地域的地
个性化联邦学习综述
联邦学习小白
06-16 1万+
《Personalized federated learning for intelligent iot applications》
联邦学习（Federated Learning）详解以及示例代码
deephub
12-11 2万+
联邦学习也称为协同学习，它可以在产生数据的设备上进行大规模的训练，并且这些敏感数据保留在数据的所有者那里，本地收集、本地训练。在本地训练后，中央的训练协调器通过获取分布模型的更新获得每个节点的训练贡献，但是不访问实际的敏感数据。 联邦学习本身并不能保证隐私（稍后我们将讨论联邦学习系统中的隐私破坏和修复），但它确实使隐私成为可能。 联邦学习的用例： 手机输入法的下一个词预测（e.g. McMahan et al. 2017, Hard et al. 2019） 健康研究（e.g. Kaissis et al
0 什么是联邦学习
weixin_48242914的博客
03-27 94
恭喜，您现在了解了联邦学习的基础知识。当然，还有很多东西要讨论，但简而言之，这就是联邦学习。在本教程的后面部分，我们将详细介绍。有趣的问题包括：我们如何选择应该参与下一轮的最佳客户端节点？聚合模型更新的最佳方法是什么？我们如何处理失败的客户端节点（落后者）？
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
federated learning
最新发布
01-10
### 联邦学习概念 联邦学习是一种分布式的机器学习范式，在该模式下多个参与者共同训练一个模型而无需分享各自的数据集。这种方式不仅保护了用户的隐私，还能够利用来自不同设备上的数据进行更有效的全局模型更新[^1]。 在同步联邦学习过程中，所有客户端先下载当前版本的全球参数；接着基于本地数据计算梯度并上传给服务器端完成聚合操作形成新一轮迭代所需的最新权重向量[^2]。 对于依赖公共数据集实现的情况，尽管存在这样的设定，但实际应用中的价值依然显著。这是因为即使有公开可用的信息源，各参与方仍可能持有独特且私密的数据样本用于改进特定场景下的预测效果。此外，通过引入多样化的输入有助于增强整体系统的鲁棒性和泛化能力[^3]。 面对非独立同分布(non-IID) 数据带来的挑战——即当各个节点间的数据分布差异较大时可能导致性能下降的问题上，研究者们提出了多种策略加以应对。例如采用迁移学习的思想调整算法结构或是优化通信机制以减轻这种负面影响[^4]。 ### 实现方法概述 以下是Python代码片段展示了一个简单的模拟环境用来理解如何构建基本框架： ```python import numpy as np from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense def create_model(): model = Sequential([ Dense(64, activation='relu', input_shape=(n_features,)), Dense(n_classes, activation='softmax') ]) model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) return model # 假设这是从不同客户那里收集到的数据... Xs, ys = [], [] for _ in range(num_clients): X, y = make_classification( n_samples=total_samples_per_client, n_features=n_features, n_informative=n_informative, n_redundant=n_redundant, random_state=_*seed_offset) # 将标签转换成one-hot编码形式 Y = (np.arange(np.max(y)+1) == y[:, None]).astype(int) X_train, X_val, Y_train, Y_val = train_test_split(X, Y, test_size=.20) Xs.append((X_train, X_val)) ys.append((Y_train, Y_val)) global_weights = ... # 初始化为随机值或其他预定义方式 while not stopping_criterion_met: client_updates = [] for i in range(len(Xs)): local_model = create_model() local_model.set_weights(global_weights.copy()) history = local_model.fit(*Xs[i], *ys[i][0], epochs=num_epochs, batch_size=batch_sz, verbose=False) updated_params = local_model.get_weights() client_updates.append(updated_params) global_weights = aggregate(client_updates) # 定义合适的聚合函数 final_global_model = create_model().set_weights(global_weights) ``` 此段伪代码展示了创建模型、准备多组模拟数据以及执行一轮完整的联邦平均过程的主要步骤。请注意这只是一个简化版的例子，并未涉及诸如安全传输协议之类的细节问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值