联邦学习
文章平均质量分 73
联邦学习联邦学习联邦学习
AI浩
2022年博客之星Top8,2021年博客之星Top6,博客专家,华为云云享专家,十佳博主,阿里云专家博主,拥有多项发明专利并参与过国家重大专项,拥有丰富的开发经验。注重理论与实践的结合,让AI学起来不再枯燥。如果大家在看文章的时候,发现了文章的错误,烦请指出,我会及时纠正。
展开
-
微众Fate-横向联邦学习-预测
1、获取训练模型信息因为后面需要用到model_id以及model_version,我们需要通过命令行的方式读取。具体命令模板如下python ${your_fate_install_path}/fate_flow/fate_flow_client.py -f job_config -j ${jobid} -r guest -p Dockre exec -it fate_python bash 进入fate容器输入以下命令python fate_flow/fate_flow_client.py转载 2022-01-05 11:13:08 · 751 阅读 · 6 评论 -
flow服务启动失败
启动flow服务时。source /data/projects/fate/bin/init_env.shcd /data/projects/fate/python/fate_flowsh service.sh start|stop|status|restart出现错误:service not runningservice start failed, please check /data/projects/fate/logs/error.log and /data/projects/fate/l原创 2021-12-24 18:05:56 · 1745 阅读 · 0 评论 -
删除swap文件
创建创建要作为swap分区的文件:增加1GB大小的交换分区,则命令写法如下,其中的count等于想要的块的数量(bs*count=文件大小)。dd if=/dev/zero of=/root/swapfile bs=1M count=1024格式化为交换分区文件:mkswap /root/swapfile #建立swap的文件系统启用交换分区文件:swapon /root/swapfile #启用swap文件检查swap是否已打开。cat /proc/swaps #或者free命令使系统开原创 2021-10-14 09:56:12 · 1322 阅读 · 0 评论 -
Fate1.6 支持的机器学习算法
联邦机器学习Federatedml模块包括许多常见机器学习算法联邦化实现。所有模块均采用去耦的模块化方法开发,以增强模块的可扩展性。具体来说,我们提供:联邦统计: 包括隐私交集计算,并集计算,皮尔逊系数, PSI等联邦特征工程:包括联邦采样,联邦特征分箱,联邦特征选择等。联邦机器学习算法:包括横向和纵向的联邦LR, GBDT, DNN,迁移学习等模型评估:提供对二分类,多分类,回归评估,聚类评估,联邦和单边对比评估安全协议:提供了多种安全协议,以进行更安全的多方交互计算。图1算法清单原创 2021-09-09 15:04:02 · 1192 阅读 · 0 评论 -
Fate 数据上传,训练数据输出的位置
一直使用fate上传数据,但是不知道数据存放的位置,今天找到了,做个记录:路径是:/data/projects/fate/eggroll/data/LMDB,这里面包含了上传的数据和训练时输出的数据。点击去发现数据文件很大。其实不用担心,这是LMDB分配的空间,实际占用的大小没这么大,相当于先占用这一块存储。...原创 2021-09-03 11:54:45 · 957 阅读 · 0 评论 -
Fate Flow Client SDK 指南
用法from flow_sdk.client import FlowClient# use real ip address to initialize SDKclient = FlowClient('127.0.0.1', 9000, 'v1')Job 操作用法client.job.submit(conf_path, dsl_path)函数定义submit(conf_path, dsl_path)介绍:提交执行pipeline任务。参数:编号参数参数类型必要参数原创 2021-08-24 13:32:16 · 943 阅读 · 1 评论 -
flow 命令的安装与使用
文章目录1 安装2 初始化3 Data`download``upload``upload-history`3 Job`submit``stop``query``view``config``log``list``dsl`4 Model`load``bind``import``export``migrate``tag-list``tag-model``deploy``get-predict-dsl``get-predict-conf``get-model-info`5 Component (TRACKING)`原创 2021-08-23 14:21:21 · 2186 阅读 · 4 评论 -
Fate实战——实现集群横向逻辑回归
摘要我在做集群的联邦学习之前,用主机部署的方式,实现了单机版的横向联邦学习。参考了下面的两篇文章:联邦学习实战-2-用FATE从零实现横向逻辑回归_文杰的博客-CSDN博客Ubuntu18.04上部署单机 Fate1.6.0, 并使用PyCharm进行开发和调试。 - 老妹儿的 - 博客园 (cnblogs.com)参考这两篇就可以实现单机版的部署和横向联邦学习,建议大家在做集群横向联邦学习之前,先把单机版的搞明白。搞明白单机版后,实现集群的横向联邦。我的集群是个星型的集群,三个节点通过exchan原创 2021-08-20 13:27:25 · 1401 阅读 · 0 评论 -
Fate部署实战——从零开始实现Fate cluster部署
文章目录摘要1 总体介绍1.1.系统介绍1.2.组件说明1.3.系统架构2 详细设计2.1.部署规划2.2.主机资源和操作系统要求2.3.网络要求3 搭建虚拟环境3.1 硬件要求3.2 软件3.3 安装 VMWare虚拟机安装3.4 CentOS安装4 虚拟环境配置4.1 hostname配置4.2 关闭selinux4.3 配置yum仓库4.4 修改Linux系统参数4.5 **修改系统mysql配置**4.6 关闭防火墙(可选)4.7 创建APP用户**4.8 给APP用户配置sudo**4.9 增加原创 2021-08-19 16:01:31 · 5891 阅读 · 16 评论 -
联邦学习实战-2-用FATE从零实现横向逻辑回归
文章目录一、安装FATE平台三、利用FATE构建横向联邦学习Pipeline3.1 数据转换输入3.2 模型训练3.2.1 DSL配置文件3.2.2 运行配置 Submit Runtime Conf3.2.3 提交参数,训练模型3.3 评估模型3.4 多参与方环境配置四、Tips4.1. 重新启动fate-flow和fateboard4.2. ‘NoneType’ object has no attribute ‘count’4.3. list index out of range四、Tips4.1. 重新转载 2021-08-16 18:53:04 · 2517 阅读 · 6 评论 -
Fate Serving安装部署
文章目录摘要架构图工作时序图部署安装JDK安装zookeeper安装serving-server安装serving-proxy安装serving-admin测试摘要fate-serving是FATE的在线部分,在使用FATE进行联邦建模完成之后,可以使用fate-serving进行在线联合预测。 FATE-SERVING 2.0 支持的特性:单笔预测,2.0.*版本guest方与host方将并行计算,从而降低了耗时。批量预测,2.0.*版本开始引入的新的特性,一次请求可以批量提交一批需要预测的数据原创 2021-08-05 18:14:58 · 3152 阅读 · 0 评论 -
如何编译Fate-Serving
首先从github上下载源码:https://github.com/FederatedAI/FATE-Serving.git配置maven,配置方法:win10中安装与配置maven和常用命令总结用IJ打开,如下图:在Terminal中,把路径切换到Fate-Serving-master目录下执行 mvn clean compile,就可以生成所有的依赖库。出现下图,就表明编译成功了如果单独编译某一个模块,可以点击右侧的maven,然后进入模块的Lifecycle,单击compile,就可原创 2021-08-05 15:16:44 · 603 阅读 · 0 评论 -
Warning: now max user processes is 4096, and need to turn up to 65535
出现上面的问题说明在配置进程数和文件数的时候出现了问题。在root和app用户下面执行这两个命令#文件句柄数,不低于65535,如不满足需参考3.3章节重新设置ulimit -n65535#用户进程数,不低于64000,如不满足需参考3.3章节重新设置ulimit -u65535观察一下结果是否都是65535,如果在app下面不是,估计是忘了清理20-nproc.conf文件这需要执行#清理20-nproc.conf文件cd /etc/security/limits.dls -lr原创 2021-08-05 11:28:25 · 724 阅读 · 1 评论 -
万字整理,全网最详细Fate集群配置总结
一、准备1、硬件准备一台至少12核CPU、24G内存、1T硬盘(最好SSD)和一个不低于10MB能上互联网的网络。(最好能满足上面的条件,要不然即使安装的没有问题,也可能跑不起来)。2软件Xshell 、VMware Workstation 16 Pro,这两款软件的下载地址: https://pan.baidu.com/s/1j6j4n4TMlxxvtSFb-r_G5A 提取码:52bvCentos,下载地址:http://vault.centos.org/7.5.180...原创 2021-07-19 16:33:27 · 6722 阅读 · 14 评论 -
(Model-Contrastive Federated Learning)模型对比联邦学习
摘要联邦学习使多方能够在不交流本地数据的情况下协作训练机器学习模型。 联邦学习的一个关键挑战是处理各方本地数据分布的异质性。 尽管已经提出了许多研究来应对这一挑战,但我们发现它们无法在具有深度学习模型的图像数据集中实现高性能。 在本文中,我们提出了 MOON:模型对比联邦学习。 MOON 是一个简单而 有效的联邦学习框架。 MOON 的关键思想是利用模型表示之间的相似性来纠正各个方的局部训练,即在模型级别进行对比学习。 我们的大量实验表明,MOON 在各种图像分类任务上明显优于其他最先进的联邦学习算法。原创 2021-07-14 17:56:16 · 6146 阅读 · 11 评论 -
万字整理联邦学习系统架构设计参考
引 言联邦学习定义了一个机器学习框架,在这个框架下,不同的数据拥有方可以在不交换彼此数据的情况下,建立一个虚拟的共有模型,这个虚拟模型的效果等同于各方把数据聚合在一起建立的最优模型。这样,建好的模型在各自的区域仅为本地的目标服务。在这样一个联邦机制下,各个参与者的身份和地位相同,而联邦系统帮助大家建立了“共同富裕”的策略。由于在建立虚拟模型的时候,数据本身不移动,也不会泄露用户隐私或影响数据规范,因此,联邦学习是数据孤岛问题的一个可能的解决方案。为了在保护数据隐私、满足合法合规要求的前提下继续进原创 2021-07-01 17:45:24 · 3772 阅读 · 8 评论 -
FedDG:在连续频率空间中通过情景学习进行医学图像分割的联合域泛化
摘要联邦学习使分布式医疗机构可以共同学习具有隐私保护功能的共享预测模型。在进行临床部署时,如果将联合学习中训练的模型应用于联盟外部完全看不见的医院,仍然会遭受性能下降的困扰。在本文中,我们指出并解决了联邦域泛化(FedDG)的一种新的问题设置,其目的是从多个分布式源域中学习联邦模型,使其可以直接推广到看不见的目标域。 我们提出了一种新颖的方法,称为连续频率空间的情节学习(ELCFS),通过使每个客户端都能在数据分散的挑战性约束下利用多源数据分布来解决此问题。 我们的方法通过有效的连续频率空间插值原创 2021-05-23 22:04:58 · 12239 阅读 · 6 评论