FATE实战：联邦学习开源框架避坑指南

于 2019-12-26 14:37:20 发布
阅读量1.4k 收藏 2
点赞数
文章标签： 联邦学习 人工智能 大数据 FATE部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45439861/article/details/103715075
版权
本文是作者在使用FATE进行联邦学习时的经验分享，包括安装部署遇到的问题，如裸机安装storage-service-cxx的启动问题，kubefate安装中的mysql和Python pod问题。在使用过程中，数据上传的注意事项，以及测试建议，如运行toy example的多种组合以确保无误。同时提到了spark on fate的修改建议，文章由FATE社区特邀作者张超-腾讯高级工程师撰写。
摘要由CSDN通过智能技术生成

引言：作者根据自身实操经验，总结出FATE使用及研究过程中的几个细节问题，如果你也正在研究联邦学习，或使用FATE，这些“坑”可以通过这篇特邀分享解决。

安装部署

  • 裸机安装storage­service­cxx无法启动

1.相关issue在此，点击可查看

2.解决办法点击查看，下载重新编译替换即可

  • kubefate安装，使用nfs时mysql起不来

不同party，mysql挂载目录需要不同，相关pr点击查看

  • kubefate离线安装，Python pod起不来

如果是无外网环境安装，需去掉python­module.yaml中从github拉example目录的逻辑

使用

  • 数据上传

同个namespace/name下的数据upload，修改partition后重新上传不会被覆盖ÿ

最低0.47元/天 解锁文章
FedAI Ecosystem
关注
博客
可信联邦学习冬令营·成都开营，产学研共促AI人才培养
11-16 181
11月10日-12日，西南财经大学、FATE开源社区、微众银行、中国计算机学会（CCF）成都分部共同举办的“可信联邦学习冬令营”在成都正式开营。
博客
《中国金融科技发展报告（2021）》发布，隐私计算首次纳入金融科技产业图谱
12-29 533
来源：中国金融新闻网，作者：记者 李国辉，责任编辑：杨晶贻当下，隐私计算逐渐成为全球金融科技发展的重要趋势。近日发布的《中国金融科技发展报告（2021）》（以下简称“报告”）首次将隐私计算与金融IT、平台科技、助贷科技等列为金融科技关键应用技术。《报告》指出，当前金融数据融合趋势日盛，安全保护呼声渐涨。作为有效解决数据融合过程中数据隐私保护问题的技术手段之一，隐私计算日趋成为金融科技创新的重要基石。据悉，该《报告》是金融科技领域极具行业影响力的专业著作之一，被评为“中国社会...
博客
2021年度FATE社区生态峰会召开，联邦学习产业化成果集中展示
12-24 721
以“联结产业”为主题，分享联邦学习行业应用进展、场景落地
博客
联邦学习FATE社区2021年度生态峰会倒计时1天，请查收这份参会攻略
12-17 1915
12月18日星期六，深圳华润大厦，不见不散
博客
倒计时4天 | 联邦学习FATE社区2021年度生态峰会即将开启
12-14 2858
12月18日，中国深圳 • 华润大厦，FATE社区2021年度生态峰会，倒计时4天，即将开启！
博客
微众银行携手中国电信翼支付推进隐私计算技术创新与产业应用
12-10 582
微众银行联合中国电信翼支付顺利完成微众“FATE平台”与翼支付“PrivTorrent密流安全计算平台”任务全流程互联互通
博客
联邦学习FATE社区2021年度生态峰会倒计时，12月18日深圳见
12-09 231
隐私计算、联邦学习、数据安全、云原生、低代码开源……2021年最热门极客词汇，你关心哪个？以“隐私计算”和“联邦学习”为关键词，以3年、2年、1年、半年为时间跨度去观察，可以发现一个很明显的现象，那就是对该领域的关注度在持续上升，尤其2020年以来，与此相关的场景实践线性增加。从技术的“少数派”到行业应用遍地开花，联邦学习在中国已经完成第一阶段的“基础建设”。12月18日，中国深圳，FATE社区2021年度生态峰会即将召开。这次峰会由联邦学习FATE开源社区联合星云Clustar共同举办，将集中展示
博客
联邦学习框架FATE V1.7发布：性能巨幅提升，助力多系统互联互通
11-24 2696
FATE (Federated AI Technology Enabler）是微众银行人工智能团队自研的全球首个联邦学习工业级开源框架，它提供一种基于数据隐私保护的安全计算框架，为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。从2019年2月开源至今，FATE已迭代了十余版本，在金融、医疗等众多领域有了落地应用，汇聚了上千家企业、高校等科研机构的开发者。近日，FATE V1.7正式发布，为开发者带来9项重要更新：■性能提升：横纵向联邦SecureBoost性能提升5倍...
博客
第六期大咖实战分享回顾 | 联邦学习落地金控集团的挑战与思考
11-23 1万+
11月18日，FATE开源社区第六期「大咖实战分享」圆满落幕。本次活动，社区邀请了光大科技有限公司副总经理向小佳博士，分享《联邦学习落地金控集团的挑战与思考》。接下来，让我们一起回顾经典问答环节，希望能帮助大家解决联邦学习实践中遇到的问题。#问答环节● Q1：请问老师，沙箱怎么理解？● A1：沙箱相当于是政策、法律上的一个合规空间，或者说你理解为一个项目也行。实际上这不是一个技术的概念。它和技术上沙箱sandbox不太一样，大家可能做云计算比较知道sandb...
博客
第六期大咖实战分享 | 联邦学习落地金控集团的挑战与思考
11-16 1825
FATE是全球首个工业级的联邦学习开源框架，旨在从技术维度出发，在数据间彼此孤立、同时被不同组织所拥有且并不能被轻易地聚合在一起的环境下，联合构建机器学习模型。作为开源框架，FATE在实际应用中有着非常多可探索的空间。在官方社区里，我们发现大家就“如何实际应用FATE”这一问题，有大量的讨论。对此，FATE开源社区继“月度之星”、“经典问答”等活动后，又特别推出了“大咖实战分享”活动，以帮助大家解决FATE实际应用问题。本期，社区邀请了光大科技有限公司副总经理向小佳，分享《联邦学习...
博客
第14期圆桌会回顾 | FATE 1.7版本内容介绍
11-03 482
10月27日，FATE开源社区第14期圆桌会圆满落幕。本次圆桌会，由FATE团队资深算法专家马国强老师、资深架构师曾纪策老师，为大家介绍FATE v1.7版本的内容。视频回放&课件，点击下方链接获取：第14期圆桌会回顾 | FATE 1.7版本内容介绍https://mp.weixin.qq.com/s/8JcBlbRj2FX0JxsubGdbvw接下来带大家回顾经典问答环节，为各位朋友答疑解惑。问答环节● Q1：left-Join那部分，匹配ID、样本ID...
博客
视频+PPT丨大会及ITL主席杨强致辞 专业演讲丨第二届1024国际智能投研开发者大会（IITDC 2021）
11-01 311
10月24日，由智能投研技术联盟（ITL）主办的第二届1024国际智能投研开发者大会（IITDC2021）在上海临港举行。本届大会是金融科技领域CTO、架构师、算法工程师、程序员的专业盛会，也是智能投研技术联盟（ITL）成员机构的发展年会。在主论坛上，CAAI名誉副理事长、智能投研技术联盟 （ITL）主席、微众银行首席人工智能官杨强教授给大会致辞，并在“隐私计算技术专场&另类数据应用专场”发表专业演讲。以下为杨强教授演讲视频回放（内含PPT）：视频+PPT丨大会及ITL主席杨强致辞 专业
博客
第14期圆桌会 | FATE 1.7 版本内容介绍
10-25 332
随着机器学习在各行各业的广泛应用, 隐私泄露问题日益严重，联邦学习应运而生，从技术维度出发，重点研究隐私保护和数据安全问题。FATE作为全球首个联邦学习工业级开源框架，旨在提供安全的计算框架来支持联邦AI生态。自2019年2月首次对外开源至今，FATE已迭代至1.6版本，并于2021年4月在行业内第一次实现了异构联邦学习平台的互通。为支持多系统互联互通、优化算法、大幅提升性能，历时数月，开发团队将FATE进行了全面升级，并将在11月上线FATE 1.7版本。本期圆桌会，将由FATE团队...
博客
FATE：工业级联邦学习开源平台
10-22 679
下载论文请点击：FATE：工业级联邦学习开源平台https://mp.weixin.qq.com/s/mTtbiASU5ZT6XOpwza_GHA近年来，联邦学习飞速发展，成为解决数据孤岛和用户隐私问题的首选方案。FATE(Federated AI Technology Enabler）作为微众银行人工智能团队自研的全球首个联邦学习工业级开源框架，提供一种基于数据隐私保护的分布式安全计算框架，为机器学习、深度学习、迁移学习算法提供高性能的安全计算支持，能有效解决在保护数据隐私的前提下如...
博客
第13期圆桌会回顾 | FATE的在线组件FATE-Serving2.1.0版本介绍
09-23 411
全程视频回放点击此处9月16日，FATE开源社区第13期圆桌会圆满落幕。本次圆桌会，由FATE团队的资深架构师邓凯老师，为大家介绍FATE的在线组件FATE-Serving2.1.0版本。接下来带大家回顾经典问答环节，为各位朋友答疑解惑。问答环节● Q1：serving-admin的service那个页面的weight是什么？● A1：weight就是权重，是我们在服务治理的时候需要关心的一些问题，比方说一个模型有可能分布在三台机器上，...
博客
全程回顾 | 隐私计算与联邦学习专场 AI MEETUP
09-07 401
9月4日，由FATE开源社区和白玉兰开源联合主办，众多社区大力支持的隐私计算与联邦学习专场 AI MEETUP（线上直播）圆满落幕。本次活动，特邀约数位隐私计算领域的前沿技术专家，畅谈数据智能时代隐私计算的技术及应用价值。接下来带大家回顾直播全程，更多信息可查看直播官网：https://www.slidestalk.com/w/5251、多角度个性化的本地差分隐私：问题和挑战议题介绍：相对于传统的差分隐私，本地差分隐私（local differential privacy,简称L..
博客
IJCAI 2021联邦学习与迁移学习国际研讨会精彩回顾
09-01 415
8月19日，“第30届国际人工智能联合会（IJCAI 2021）”于线上隆重开幕，“联邦学习与迁移学习国际研讨会（FTL-IJCAI’21）”也在8月21日重磅登场。本次研讨会由微众银行、京东、第四范式、星云Clustar联合香港科技大学、南洋理工大学等高校共同主办。技术赋能，联邦学习与迁移学习助力AI领域大变革2021年是机器学习取得了长足发展的一年，不仅迁移学习延伸出了协同学习，联邦学习发展形势更是迅猛：从个性化联邦学习到异构联邦学习，从领域泛化到用户选择和聚类，联邦学习与迁移学
博客
第12期圆桌会回顾 | FATE 1.6.1 版本更新内容分享（内含1.7版本的最新消息！！）
08-30 387
8月26日，FATE开源社区第12期圆桌会圆满落幕。本次圆桌会，由FATE团队的2位资深专家，为大家解读即将更新的FATE 1.6.1版本。接下来带大家回顾经典问答环节，为各位朋友答疑解惑。问答环节问1：我想问一下老师，资源管控是怎么实现的呢？资源管控这一块，我们FATE这一层级是没有做限制。对于Linkis这种模式下，我们把资源管控直接抛给Linkis，因为Linkis是在资源管控这一块做得非常好，它也提供一个可视化的资源管控的平台，即我们能够看到某一个用户他具体用了多少资源。..
博客
联邦学习首次被纳入Gartner隐私计算技术成熟度曲线
08-25 579
据外媒报道，美国亚马逊公司近期被卢森堡数据保护委员会处以7.46亿欧元（约合57.2亿元人民币）的罚款，原因是亚马逊违反了欧盟的《通用数据保护条例》。这也将成为亚马逊在欧盟面临的最大一笔数据隐私罚款。就在去年，Facebook和谷歌也先后因为违反相关数据隐私保护规定而被处以巨额罚款。因为隐私数据保护不力而吃到“天价罚单”在全球大科技公司中正成为一个巨大的内控难题。如何从制度、技术以及公司自律等层面保护隐私数据安全再次成为舆论热点，隐私计算也成为全球新兴的一大产业。7月，2021年度Gar..
博客
第12期圆桌会 | FATE 1.6.1 版本更新内容分享
08-24 287
随着机器学习在各行各业的广泛应用, 隐私泄露问题日益严重，联邦学习应运而生，从技术维度出发，重点研究隐私保护和数据安全问题。FATE作为全球首个联邦学习工业级开源框架，旨在提供安全的计算框架来支持联邦AI生态。本期圆桌会，将由FATE团队的2位资深专家，为大家解读即将更新的FATE 1.6.1版本。第12期圆桌会主题 FATE 1.6.1 版本更新内容分享2021年8月26日 周四19:00-20:00腾讯会议在线直播会议流程FATE 1.6.1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值