联邦学习理论及实践
文章平均质量分 87
联邦学习的开源框架FATE的学习记录
林立可
加点油呢!路还有那么长!
展开
-
基于同态加密和秘密共享的无第三方纵向逻辑回归
基于同态加密和秘密共享的逻辑回归方案0,写在前面Fate升级1.7.0版本之后,实现了阿里2021KDD的一篇论文,[When Homomorphic Encryption Marries Secret Sharing: Secure Large-Scale Sparse Logistic Regression and Applications in Risk Control。当然他这里做了一定的修改,比如sigmod函数优化那里的一个变化,没有采用多项式近似的方式。本篇文章的主要目的是,对比FATE原创 2021-12-24 12:57:47 · 1903 阅读 · 9 评论 -
纵向联邦学习中的逻辑回归方案介绍
纵向联邦学习中的逻辑回归方案1,传统机器学习里的LR计算:y′=σ(wx)y^\prime=σ(wx)y′=σ(wx)。w为模型;目标:输入x得到输出。如何训练w:w:=w−g,其中g=(y′−y)xw:=w-g,其中g=(y^\prime-y)xw:=w−g,其中g=(y′−y)x如何停止:设置迭代次数和loss收敛阈值。2,纵向联邦里的LR联邦学习里首先对标签{0,1}改动为{1,-1}。然后为了支持同态,对损失函数做了改动。2.1,有第三方:全局只有一对公私钥。第三方持有私钥,参原创 2021-09-29 19:37:48 · 2897 阅读 · 11 评论 -
(二)联邦学习之逻辑回归
联邦学习之逻辑回归分析1,横向逻辑回归(HomoLR)横向联邦中模型的一般训练过程:1,第三方分发公私钥:参与方持有PK,第三方持有SK2,参与方本地训练模型,加密上传到第三方3,第三方解密,聚合模型,做加权平均4,发送给各参与方,参与方本地更新模型直到收敛。其中,模型聚合使用了安全聚合算法:SecureAggregation。大概思路是:各参与方通过加入随机数,汇总后的随机数能够抵消,使得第三方只能得到总模型,无法得知某个参与方的具体模型。算法 paper:Practical Sec原创 2021-05-26 15:40:37 · 3088 阅读 · 0 评论 -
(一)联邦学习之线性回归
联邦学习之纵向线性回归分析1,背景介绍A,B 双方利用纵向联邦算法共同训练线性回归模型,B 方拥有标签 y 为 active party,A为只有标签为 passive party。C为 Arbiter,一个中立的第三方。(Fate 的官方实现上并没有横向线性回归的例子)Qestion 1:host 没有标签 y 如何参与训练更新模型?需要预先知道的是,线性回归中我们的模型更新公式为:θj:=θj−αm∑i=1m(hθ(xi)−(yi))xj\theta_{j}:=\theta_{j}-\fra原创 2021-05-26 15:32:30 · 2156 阅读 · 6 评论 -
FATE实战——从零实现横向联邦之逻辑回归
从零实现横向逻辑回归联邦学算法本篇教程是一个从零实现横向联邦的过程,整个环节包括:数据处理数据上传模型训练模型预测如果读者刚开始接触 FATE,建议先把官方的 demo 跑一下,比如笔者上一篇的教程就是一个纵向 SecureBoost 的案例。0,环境准备这里的实验环境是单机版的 FATE,安装参考官方文档FATE单机部署指南(建议 Docker 安装)。同时你还应该安装 fate-client 工具,注意是安装在 Docker 环境里,并正确初始化。参考:FATE Client 安装及原创 2021-05-02 14:29:55 · 4730 阅读 · 37 评论 -
FATE入门案例——纵向 SecureBoost 模型
FATE入门案例——纵向secureboost模型0,demo说明使用的hetero_secureboost案例,角色及数据:(1) guest: breast_hetero_guest.csv (2) host: breast_hetero_host.csv。参考来源:https://github.com/FederatedAI/FATE/tree/master/examples/dsl/v2/hetero_secureboost1,模型训练1,使用如下命令提交了job进行模型训练:flo原创 2021-03-28 21:16:43 · 5344 阅读 · 8 评论