注:微信公众号不按照时间排序,请关注“亨利笔记”,并加星标以置顶,以免错过更新。
我们 VMware 云原生实验室的团队在参与联邦学习领域的开源项目 FATE 和 KubeFATE 的贡献,帮助用户应对连接数据孤岛、打破部门墙的挑战,即解决人工智能的最后一公里的问题。本文转发自 FATE开源社区 公众号。
企业发展到一定阶段,各事业部之间的数据往往都各自存储,各自定义。每个事业部的数据就像一个个孤岛一样,无法进行连接互动。又或者不同机构组织间,受隐私保护条例法律的约束,无法进行关联交互,这样的情况称为“数据孤岛”。
为了连接不同组织机构间的数据,使数据得到更大的应用价值,微众银行人工智能部提出了基于“联邦学习”的系统性的通用解决方案,并在2019年开源了全球首个工业级开源框架——FATE。
经历了近两年的沉淀,FATE在近期发布了首个长效稳定版本v1.5(下称LTS)。这两年期间,FATE在开源仓库GitHub上,FATE团队累计合入提交代码7600+次,根据调研需求完成上百项不同用户场景的功能新增与迭代。通过开源社区大量不同行业领域的用户,不同应用场景的生产环境反馈积累,FATE得到了全面的完善提升。
据官方团队介绍,此次版本规划将会持续维护两年以上,为商业化应用提供稳定基础,未来将持续探索多方联合建模,数据应用的更多可能性。同时经历过系统框架层重构后,不仅在性能表现上有长足的进步,1.5LTS版本还具备优秀的灵活扩展性,用户可以便捷按需取用不同模块,进行二次开发。
以下为FATE v1.5 LTS版本
各模块的详细介绍
FederatedML
性能再翻番,覆盖更全面的联邦算法,提升工业实用性
作为长效版本,我们吸取了来自众多行业的社区用户生产经验,为了兼顾不同领域的场景,我们加入了更多的算法、协议等,如新增纵向联邦FastSecureBoost、纵向联邦SecureBoost的complete secure机制、DataStatistic、纵向KMeans、评分卡,以及Oblivious Transfer协议和RandomIterativeAffine同态加密协议。
除此以外,针对已有算法进行升级与优化,如纵向FTL的全新重构,使得性能比上一版本呈指数级的提升;纵向联邦 SecureBoost 直方图统计过程使用矩阵运算对高维稀疏数据优化;纵向联邦 SecureBoost 预测性能优化,预测交互次数降低为树最大深度,在100 颗树下能达到32倍的性能提升;纵向特征选择全新升级,增加 SecureBoost 特征重要度&特征PSI指标过滤器;纵向联邦特征分箱计算逻辑优化,性能提升30%-50%;纵向GLM计算逻辑优化,性能提升10%+。更多的提升体验,欢迎前往github.com/FederatedAI获取体验。
FATE-Flow
易扩展,高可用
FATE-Flow是联邦学习框架FATE的作业调度系统,实现联邦学习作业生命周期的完整管理,其中包括数据输入、训练作业调度、指标追踪、模型中心等功能。
此次版本更新,核心的调度能力升级,支持组件多输出、组件任务并行和组件任务重跑;资源调度能力升级,依据不同计算引擎,支持调整核数、内存、工作节点数粒度。除此以外,还新增了DSL v2、模型注册中心,以及适配各种数据源的数据读取组件,大大地提升了易用性。
FATE-Client
全新的fate调用方式
FATE-Client包括Pipeline、Flow CLI v2和Flow SDK,通过发布pypi包的形式,用户通过pip指令可以直接安装和使用,这个fate 第一次提供这样的调用方式,简化用户使用pipeline或者fate cli指令的流程。
FATE-Test
自动化、自动化、自动化,重要的事情说三遍
FATE-Test模块是fate-1.5版本的新特色,目前提供全面回归fate算法库所有功能,以及常用的建模算法中心化训练与FATE联邦训练的正确性对比,及算子调用和传输时间统计。
将来,FATE-Test模块会集成更多新的功能,比如大数据压力测试、多任务并发等等,自动化测试是未来的终极目标。
FATE-Board
数据与交互解耦,效率与流畅度提升
FATEBoard是联邦学习建模的可视化工具,旨在帮助用户简单而高效地理解模型与探索模型,从而更有效地调试和改善模型效果。
这次丰富的更新,提供更多新增算法模型的可视化,并提升已有算法模型的可视化,同时图形界面的可操作空间也有提升,如任务重试以及从FATEBoard下载算法组件的模型和数据等。
以上为FATE各个模块的详细介绍。此次更新,FATE系统整体的结构弹性化是一重要的优化。全新的架构,支持了不同的计算、存储、传输引擎结合,以及新增的Spark、HDFS、RabbitMQ引擎,新增的数据表管理功能,储存引擎统一的API,都在帮助不同行业领域用户,按需取用FATE不同的功能模块。
据介绍,新增的能力有许多是来自于开源社区中的体验反馈,也因为不断反馈到不断实现的正循环,FATE开源社区已经壮大至超过500家企业与220所高校等科研机构的开发团队参与共建。
这次FATE LTS的版本,除了总结这近千个合作伙伴的业务场景经验,给予稳定工业生产的版本更新以外。团队将会挖掘未来商业化的可能性,如近期开源的联邦学习云服务——FATE Cloud,该模块使FATE可实现多云管理,形成了一种安全的联邦数据网络。旨在为跨机构间、机构内部不同组织间提供安全可靠、合规的数据合作网络构建解决方案,提供企业级的联邦学习生产力应用解决方案。开源仓库位于GitHub/FederatedAI/FATE-Cloud,欢迎前往获取。
对用户关注的联邦学习平台运维管理,可以使用 KubeFATE 项目的云原生解决方案。更多细节将在后续文章中介绍,敬请关注。
相关文章:
详情可查阅 FATE / KubeFATE 官网项目文档:
https://fate.fedai.org/contribute/
https://github.com/FederatedAI/KubeFATE
知乎:FedAI联邦学习
CSDN:FedAI Ecosystem
bilibili:FedAI联邦学习
要想了解云原生、区块链和人工智能等技术原理,请立即长按以下二维码,关注本公众号亨利笔记 ( henglibiji ),以免错过更新。