联邦学习综述

已于 2024-04-21 23:54:37 修改
阅读量478 收藏 3
点赞数 5
分类专栏： 人工智能综述 文章标签： 人工智能 联邦学习
于 2024-04-20 22:41:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45738761/article/details/138014138
版权
本文是关于联邦学习的综述，介绍了其出现原因，包括数据不充分或不完整。详细阐述纵向、横向联邦学习流程，如纵向的加密样本对齐、加密模型训练和效果激励，横向的模型下载、训练、聚合更新等。还对比了联邦学习与数据中心分布式学习的区别，指出其数据偏见性和通信限制等问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目标检测综述-CSDN博客

持续学习综述-CSDN博客

联邦学习综述-CSDN博客

少样本.单样本.无样本学习 综述-CSDN博客

预处理和损失函数-CSDN博客

对比学习综述-CSDN博客

联邦学习出现的原因：联邦双方数据不充分或者数据不完整(一方只有标签、一方只有特征数据)

纵向联邦：样本重叠多，特征重叠少，拓展特征维

第一部分：加密样本对齐。由于两家企业的用户群体并非完全重合，系统利用基于加密的用户样本对齐技术，在 A 和 B 不公开各自数据的前提下确认双方的共有用户，并且不暴露不互相

最低0.47元/天 解锁文章
联邦学习原理-上篇
孟凡霄
06-06 1282
联邦学习技术特点 数据隔离 数据不泄漏到外部 对等 参与者地位平等 无损 联邦学习效率等同或接近全量数据模型 共同获益 参与者共同获益 联邦学习分类 横向联邦 数据方特征维度相同 纵向联邦 数据方样本ID相同传统的以表格的方式查看数据看 纵向的按列对数据分组每列数据包含的数据indices/ID相同 纵向联邦学习-联合建模需求场景 举例说明 微众与合作企业联合建模，微众有y（业务表现），期望优化本方的Y预测模型 各方数据 合作企业 微众银行 设定 只有微众拥有Y=逾期表现 合
[学习笔记]联邦学习
m0_71291382的博客
08-19 336
对联邦学习的基础知识进行一些整理
【阅读笔记】联邦学习实战——用FATE从零实现纵向线性回归
HERODING23的博客
03-15 8143
联邦学习实战——用FATE从零实现纵向线性回归前言1. 数据集的获取纵向数据集切分 前言 FATE是微众银行开发的联邦学习平台，是全球首个工业级的联邦学习开源框架，在github上拥有近4000stars，可谓是相当有名气的，该平台为联邦学习提供了完整的生态和社区支持，为联邦学习初学者提供了很好的环境，否则利用python从零开发，那将会是一件非常痛苦的事情。本篇博客内容涉及《联邦学习实战》第六章内容，使用的fate版本为1.6.0，fate的安装已经在这篇博客中介绍，有需要的朋友可以点击查阅。下面就让我们
联邦学习阅读笔记（五）——语义库对齐问题
邱邱的物联网成长之路
08-07 1249
由于数据隐私限制，多个中心之间的数据共享受到限制，这就影响了联邦学习架构下多中心合作开发高性能深度学习模型的效果。持续学习（Continual Learning）作为点对点联合学习的一种方法，可以通过共享中间模型而不是训练数据来绕过数据隐私的限制，从而促进多中心协作开发深度学习算法。
联邦学习样本对齐之隐私集合交集RSA加盲
老码农
11-01 1831
联邦学习样本对齐之隐私集合交集RSA加盲 1 联邦学习背景 鉴于数据隐私的重要性，国内外对于数据的保护意识逐步加强。2018年欧盟发布了《通用数据保护条例》（GDPR），我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》因此数据在安全合规的前提下自由流动，成了大势所趋。这些法律法规的出台，不同程度的对人工智能传统处理数据的方式提出更多的挑战。 AI高度发展的今天，多维度高质量的是制约其进一步发展的瓶颈。随着各个组织对于数据的重视程度的不断提升，跨组织以及组织内部不同部门之间的数据合作将变得越来
联邦学习原理-分类-python代码实现
qq_43750528的博客
11-25 3946
介绍了联邦学习的基本原理、分类以及利用pytorch实现联邦学习算法之一FedAvg算法
区块链与联邦学习综述
E_chos的博客
12-20 2万+
本期分享的论文是由Dinh C. Nguyen等人在2021年发表在IEEE Internet of Things Journal的文章《Federated Learning Meets Blockchain in Edge Computing Opportunities and Challenges》。
联邦学习算法综述
01-20
近年来，联邦学习作为解决数据孤岛问题的技术被广泛关注，已经开始被应用于金融、医疗健康以及智慧城市等领域。从3个层面系统阐述联邦学习算法。首先通过联邦学习的定义、架构、分类以及与传统分布式学习的对比来...
联邦学习研究综述【联邦学习】
eternity_memory的博客
08-04 3864
联邦学习综述
联邦学习（电子工业出版社）——读书笔记（4）
IEEE802_11的博客
10-29 545
第五章 纵向联邦学习 纵向联邦学习的定义 把在数据集上具有相同的样本空间、不同的特征空间的参与方所组成的联邦学习归纳为纵向联邦学习（Vertical Federated Learning, VFL），也可以理解为按特征划分的联邦学习。 在这种联邦学习体系下，每一个参与方的身份和地位是相同的。 在VFL的设置中，存在一些关于实现安全和隐私保护的假设。首先，VFL假设参与方都是诚实但好奇的。第二，VFL假设信息的传输过程是安全且足够可靠的，能够抵御攻击。此外，还假设通信是无损的，不会使得中间结果的内容发
联邦学习1
m0_48022770的博客
10-06 246
训练就是先初始化一个模型，然后把一堆先前的数据输入这个模型进行学习，预测出新的数据，然后对这个预测数据和真实数据做对比，然后通过损失函数的梯度（梯度就像最快下山的路，代表函数的更新方向）进行计算，再更新模型，如此一遍遍的重复上述步骤，直到达到预设条件，比如一定的训练轮数或者性能。训练的目的是通过学习已有的数据集中的模式和规律，使模型能够在未见过的数据上进行泛化。重复迭代：重复进行前向传播、计算损失、反向传播和参数更新的过程，直到达到预设的停止条件，如达到一定的训练轮数或达到一定的模型性能。
我的隐私计算学习——隐私集合求交（1）
weixin_47695607的博客
12-10 3131
安全多方计算——隐私集合求交（PSI）
联邦学习基础介绍
weixin_44458771的博客
09-19 7336
联邦学习（Federated Learning）是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，不需要交换本地数据，仅通过交换模型参数或中间结果来构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡。
联邦学习（Federated Learning）
热门推荐
培根芝士的专栏
11-26 4万+
联邦学习简介 联邦学习（Federated Learning）是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。 联邦学习的系统构架 以包含两个数据拥有方（即企业 A 和 B）的场景为例介绍联邦学习的系统构架。该构架可扩展至包含多个数据拥有方的场景。假
联邦学习综述（二）——联邦学习的分类、框架及未来研究方向
IST-CTO
07-24 1万+
前两章对联邦学习的定义并没有讨论如何具体地设计一种联邦学习的实施方案。在实际中，孤岛数据具有不同分布特点，根据这些特点，我们可以提出相对应的联邦学习方案。
联邦学习笔记 Federated Learning
qq_33804792的博客
05-30 3021
文章目录背景介绍相关研究系统构架优势联邦学习的分类学习纵向联邦学习横向联邦学习联邦迁移学习联邦学习开源平台研究方向参考资料 背景介绍 联邦学习最早在 2016 年由谷歌提出，原本用于解决安卓手机终端用户在本地更新模型的问题；本质上是一种分布式机器学习技术，或机器学习框架。 联邦学习是多个参与方在保护数据隐私、满足合法合规要求的前提下继续进行机器学习，解决数据孤岛的问题。 各方数据都保留在本地，不泄露隐私也不违反法规； 多个参与者联合数据建立虚拟的共同模型，并且共同获益的体系； 在联邦学习的体系下，各个参与
转载-联邦学习 - 基础知识+白皮书+杨强教授讲座总结+同态加密+ 差分隐私
ruiyiin的专栏
05-08 1317
原文链接：https://blog.csdn.net/qq_41409438/article/details/102213895 联邦学习 兴起原因 概念 分类 横向联邦学习 纵向联邦学习 联邦迁移学习 优势 系统架构 联邦学习与现有研究的区别 联邦学习与差分隐私理论的区别 联邦学习与分布式机器学习的区别 联邦学习与联邦数据库的关系 联邦学习的最新发展及应用 （2019第四届全球人工智能与机器人...
KBS2021 联邦学习综述
最新发布
01-16
### 关于2021年联邦学习综述 #### 数据划分与隐私保护机制 在探讨2021年的联邦学习进展时，一个重要方面在于如何有效地处理数据分布不均的问题以及保障用户隐私安全。文献指出，在联邦学习框架下，各参与方的数据集往往是非独立同分布(non-IID)，这给模型收敛带来了挑战[^1]。 #### 机器学习模型优化 针对不同应用场景下的需求，研究人员探索了多种适用于联邦环境的学习算法改进方案。例如通过引入差分隐私技术来增强个体数据的安全防护水平；或是设计轻量级网络架构以适应资源受限设备的需求。 #### 通信效率提升策略 为了克服分布式计算过程中可能遇到的带宽瓶颈问题，学术界提出了诸如梯度压缩、量化传输等一系列方法论创新措施。这些手段不仅有助于降低整体通讯成本，同时也促进了跨机构间协作模式的发展成熟。 #### 应对系统异构性的解决方案 考虑到实际部署环境中存在的硬件配置差异较大这一现实情况，相关研究致力于构建更加灵活通用的技术平台。具体而言，就是让整个生态系统能够兼容不同类型终端的同时保持高效运作状态。 #### 面临的主要挑战与发展前景展望 尽管取得了诸多成果，但现阶段仍存在不少亟待解决的关键难题等待突破——比如提高抗攻击能力防止恶意干扰行为的发生；进一步简化操作流程以便更多行业采纳利用等等。未来几年内预计会有更多围绕这些问题展开深入探究的工作涌现出来。 ```python # 示例代码展示了一个简单的模拟联邦平均(FedAvg)算法实现 def federated_average(models): global_model = sum([model.parameters() for model in models]) / len(models) return global_model ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值