010 Large-Scale Kernel Method for Vertical Federated Learning（垂直联邦学习大规模核方法）

最新推荐文章于 2023-11-25 17:43:21 发布
最新推荐文章于 2023-11-25 17:43:21 发布
阅读量416 收藏 2
点赞数
文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Uzz_yuzaizai/article/details/125513793
版权
面向垂直联邦学习的大规模核方法
方法： 垂直联邦学习核学习方法（VFKL） ——>①利用 随机特征技术 逼近核函数②利用 特殊设计的 在数据和模型中都不泄露隐私的 双随机梯度 联合更新预测函数
目的：解决  随着隐私保护需求的不断增长，传统的机器学习方法很难对这种垂直分割的数据进行数据挖掘 的问题
结论： VFKL可以提供 次线性收敛速度（接近O（1/t）） ，并在一般半诚实假设下保证数据安全性。
数据挖掘中，多个数据持有者通常维护公共数据的不同特征部分，称为垂直分区数据。——>随着隐私保护需求的不断增长，传统的机器学习方法很难对这种垂直分割的数据进行数据挖掘。——> 垂直联邦学习算法：①线性回归②k-means聚类③逻辑回归④随机森林⑤XGBoost⑥支持向量机（SVM）⑦合作统计分析⑧关联规则挖掘⑨垂直分区数据的隐私保护梯度下降算法⑩高维线性分类的特征分布SVRG算法——>但这些都是基于 学习模型是隐式线性可分的假设 进行训练的——>非线性模型可以达到比线性模型更好的性能——>核方法是非线性学习方法的重要分支，不满足隐式线性可分假设——> PP-SVMV（垂直分区数据的隐私保护SVM分类） 是惟一的来学习垂直分区数据的隐私保护非线性核函数方法——>需要收集不同工人的局部核矩阵，然后将其求和为全局核矩阵，导致了较高的通信成本。——> 提出了一种垂直联邦学习核学习方法（VFKL）来训练垂直分区数据——>①利用 随机特征技术 逼近核函数②利用 特殊设计的 在数据和模型中都不泄露隐私的 双随机梯度 联合更新预测函数——>VFKL可以提供 次线性收敛速度（接近O（1/t）） ，并在一般半诚实假设下保证数据安全性。
①双随机核方法
随机特征近似技术：拓展核方法的强大技术，利用了 连续和移位不变的正核定之间的对偶性 和 随机过程。
双随机梯度（DSG）算法：是一种可拓展且高效的核函数方法，使用双随机梯度w.r.t.样本和随机特征来更新核函数
——>（关键：随机特征的计算是线性可分的——>在本地工作者中计算垂直分块数据的分块随机特征，当需要整个核函数来计算全局函数梯度时，通过对局部随机特征求和，可以很容易的从本地工作者中重构出整个随机特征）将DSG拓展到垂直分区的数据场景中，提出了VFKL方法。
②垂直联邦核学习
数据隐私
模型隐私
树状结构的通信
联邦调查局石大分局
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史)、系统及其架构、场景应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-27 1万+
​ AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的简介(背景/思想/特点/优势/未来展望/发展史/系统及其架构)、系统及其架构、场景应用之详细攻略 目录 联邦学习的简介 联邦学习系统及其架构 联邦学习的场景应用 联邦学习的简介 1、联邦学习诞生的背景 背景 随着公众对保护隐私数据诉求的日趋强烈，以及政策制定者也越来越意识到隐私的重要性。同时，在数据实践中，对保护隐私的机器学习的需求也正在上升，对于数据的访问受到越来越多的审查，对联邦
论文阅读:Privacy Leakage of Real-World Vertical Federated Learning
kewei chen
08-18 1325
攻击者会通过白盒窃取或者黑盒探测的方式得到和目标模型的结构、参数都相似的影子模型，然后生成和目标数据集分布相似的仿真数据集，最后用影子模型和仿真数据集训练一个分类模型，这个分类模型可以根据某样本经过目标模型的输出来判断它是否属于目标训练数据集。例如，根据已有的识别检测模型，原来是识别成猫，我们根据识别成猫的这个神经网络，把原先的数据对一些特征进行修改，把它修改的更像识别成狗，同时不影响数据的准确性，如上图所示，人眼几乎看不出任何区别。只有联合多个参与者的共同样本的不同特征进行纵向联邦学习，才有意义。....
横向联邦学习（Horizontal Federated Learning）VS 纵向联邦学习（Vertical Federated Learning）
Xiao_Bai_Ke的博客
02-27 1万+
1.横向联邦学习：适用于参与者的数据特征维度重叠较多的情形： 目的：增加训练数据的数据量 例如甲医院有患者：A，B，C；乙医院有患者C，D，F这六位患者，甲乙医院都有患者的身高，体重，血压，心跳等信息，那么进行联邦学习一个判断患者健康状况的模型时，就可以使用横向联邦学习： 示例： 2.纵向联邦学习：适用于参与者数据ID特征重叠较多的情形： 目的：增加参与者数据的数据维度 例如甲医院...
001 A Comprehensive Survey of Privacy-preserving Federated Learning（便于寻找：FedAvg、垂直联邦学习的基本步骤）
Uzz_yuzaizai的博客
05-31 1060
这是我看的第一篇关于联邦学习的论文，综述文章，让我对联邦学习有了初步的了解。 A Comprehensive Survey of Privacy-preserving Federated Learning: A Taxonomy, Review, and Future Directionshttps://doi.org/10.1145/3460427 下图用表格的形式将联邦学习中隐私保护相关论文进行了罗列 ......
多核学习总结
lixiao19890921的专栏
06-03 1万+
什么是核：(核或正定核)  定义在上的函数是核函数，如果存在一个从到Hilbert空间的映射                                                (1.1) 使得对任意的，                                           (1.2) 都成立。其中表示Hilbert空间中的内积。 多核学习的本质就是用K个核函数凸
Blockchain-based Federated Learning for.pdf
01-07
主要贡献： 1）提出了一种基于区块链的联邦学习框架。将联邦学习和区块链应用于重载铁路系统，以保护运营商的数据隐私和安全。 2）引入了一种基于支持向量机的智能控制模型。
Privacy-preserving and communication-efficient federated learning in Internet of Things.pdf
12-23
Privacy-preserving and communication-efficient federated learning in Internet of Things.pdf
不显示交叉点成员的垂直联合学习_Vertical Federated Learning without Revealing In
01-20
不显示交叉点成员的垂直联合学习_Vertical Federated Learning without Revealing Intersection Membership.pdf
Federated-Learning-and-Split-Learning-with-raspberry-pi:SRDS 2020
05-19
请引用我们的工作为： @inproceedings{gao2020end,title={End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things},author={Gao, Yansong and Kim, Minki and Abuadbba, Sharif ...
awesome-federated-learning:机器学习中有关联合学习和隐私的资源
05-13
相关真棒列表文件简介与调查联合学习中的进步和开放性问题 联合机器学习：概念和应用 联合学习系统：数据隐私和保护的愿景，炒作和现实 揭开并行和分布式深度学习的神秘面纱：深度并发分析 EdgeAI：物联网时代的深度...
纵向联邦学习
武天旭的博客
03-16 1万+
一、纵向联邦学习的定义 纵向联邦学习（VFL）一般是适用于数据集上具有相同的样本空间、不同的特征空间的参与方所组成的联邦学习场景，纵向联邦学习也可以理解为按特征划分的联邦学习。 举个例子，我们假设有两家公司A和B想要协同地训练一个机器学习模型，每一家公司都拥有各自的数据。例如保险公司与银行合作，根据同一用户的购买历史与消费习惯，为该用户提供定制化的服务；医院与制药公司合作，通过利用同类患者的医疗记录，从而治疗患者的慢性疾病，并降低患者未来住院治疗的风险。
【纵向联邦】学习
qq_39736373的博客
07-20 1112
介绍差分隐私的基本和在业界的应用。
联邦学习（Federated Learning）
热门推荐
培根芝士的专栏
11-26 4万+
联邦学习简介 联邦学习（Federated Learning）是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。 联邦学习的系统构架 以包含两个数据拥有方（即企业 A 和 B）的场景为例介绍联邦学习的系统构架。该构架可扩展至包含多个数据拥有方的场景。假
联邦学习 Federated Learning 基本介绍
最新发布
Jiayyyiii的博客
11-25 1267
联邦学习（FL）是一种在边缘设备利用本地数据进行模型训练，再将模型参数传回服务器聚合的一种训练方法，降低了传统集中式机器学习方法带来的一些系统隐私风险和成本。
联邦学习基础介绍
weixin_44458771的博客
09-19 4170
联邦学习（Federated Learning）是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，不需要交换本地数据，仅通过交换模型参数或中间结果来构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡。
深入理解联邦学习——纵向联邦学习
冯·诺依曼
09-07 1273
在整个过程中参与方都不知道另一方的数据和特征，且训练结束后参与方只得到自己侧的模型参数，即半模型。[1] 杨强, 刘洋, 程勇, 康焱, 陈天健, 于涵. 联邦学习[M]. 电子工业出版社, 2020。[2] 微众银行, FedAI. 联邦学习白皮书V2.0. 腾讯研究院等, 2021。我们以岭回归为例说明纵向联邦学习的训练过程。假设进行联邦学习的数据提供方为。
【概念学习】联邦学习的三个类别+【论文阅读】异步联邦学习
YasmineC的博客
03-11 6416
基于数据的分布特点将联邦学习分为三类： 横向联邦学习（Horizontal Federated Learning）：共享相同的特征空间，但是不同的样本（也就是一般遇到的情况，每个client拿到模型，独立用自己的样本集训练，获得自己的损失，计算自己的梯度，来更新模型） 纵向联邦学习（Vertical Federated Learning）：共享相同的样本ID（就是指示每个样本的关键字），但是不同的特征空间 一个例子是，一个城市的一家银行和电商公司可能拥有相同的用户集，但银行记录的是用户的收支行为，电商公司记
核密度估计-Kernel density estimation--精华汇总
pandav5的专栏
03-28 9939
wiki:  https://en.wikipedia.org/wiki/Kernel_density_estimation 博客：http://blog.163.com/zhuandi_h/blog/static/1802702882012111092743556/ In statistics, kernel density estimation (KDE) is a non-p
隐私计算论文合集「联邦学习系列」第2期
m0_69580723的博客
05-25 920
前言：隐语awesome-PETs（PETs即Privacy-Enhancing Technologies ，隐私增强技术）精选业内优秀论文，按技术类型进行整理分类，旨在为隐私计算领域的学习研究者提供一个高质量的学习交流社区。awesome-pets包含：安全多方计算(MPC)、零知识证明(ZPK)、联邦学习(FL)、差分隐私(DP)、可信执行环境(TEE)、隐私求交(PSI)等系列主题论文！继上期[《多方安全计算》系列论文推荐活动小伙伴们参与热烈，社区收到了不少Paper留言。本期继续带来联邦学习 (FL
spreadgnn: serverless multi-task federated learning for graph neural network
04-30
spreadgnn是一种无服务器多任务联邦学习方法，针对图神经网络。联邦学习是一种新兴的机器学习方法，它允许不同设备（例如移动设备）上的数据进行局部训练，然后将训练后的模型聚合，以获得更好的泛化性能。Graph ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值