【联邦学习FATE框架实战】（一）FATE1.6单机部署教程

最新推荐文章于 2024-09-25 10:16:40 发布
最新推荐文章于 2024-09-25 10:16:40 发布
阅读量7.2k 收藏 56
点赞数 8
分类专栏： 联邦学习 文章标签： 联邦学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Sisyphus_98/article/details/122931367
版权

目录

1. 说明

使用虚拟机VMware进行实验，实验过程中随时拍摄快照，节约重装时间。

项目Value
虚拟机配置内存4G + 硬盘80G
操作系统Ubuntu18.04
用户root; fate(安装系统时创建)

2. 安装前

虚拟机裸机安装Ubuntu系统后：

3. 在主机中安装FATE(使用已编译的安装包)

  • FATE官方单机部署教程
  • 单机版提供3种部署方式，这里选择在主机中安装FATE（官方建议使用Docker镜像，但不熟悉Docker的人容易找不到FATE路径，同时教程较少，完成部署后进行后续开发困难）

3.1 端口检查

检查端口8080、9360、9380是否被占用

$ netstat -apln|grep 8080
$ netstat -apln|grep 9360
$ netstat -apln|grep 9380

3.2 获取安装包

  • 这里选择安装的是FATE1.6.0版本，当前最新版本1.7.1，文档较少，暂时没跑通
$ wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/standalone_fate_master_1.6.0.tar.gz
$ tar -xzvf  standalone_fate_master_1.6.0.tar.gz

3.3 安装

  • 进入解压后的目录并使用init.sh进行安装
  • 该脚本将自动完成：
    • 安装必要的OS依赖、py36环境、pypi依赖、jdk环境、fate client
    • 配置FATE环境变量、fateflow、fateboard
$ cd standalone_fate_master_1.6.0
$ sudo gedit init.sh # 修改init.sh文件
这里修改init.sh文件中的sh命令为bash（官方文档使用的是sh,这里系统不同改用bash）
否则会出现问题：service.sh: [[ not found

在这里插入图片描述

$ bash init.sh init
  • 看到图中红框就行了，底下仍然出现了service.sh: [[ not found，但这时似乎没有影响。
    在这里插入图片描述

3.4 启动

$ bash init.sh status
$ bash init.sh start

在这里插入图片描述

3.5 测试

  • 加载环境变量

    $ source bin/init_env.sh

  • Toy测试

    $ python ./examples/toy_example/run_toy_example.py 10000 10000 0
    • 如果成功，屏幕显示类似下方的语句:
      success to calculate secure_sum, it is 2000.0000000000002

  • 单元测试

    $ bash ./python/federatedml/test/run_test.sh
    • 如果成功，屏幕显示类似下方的语句:
      there are 0 failed test

3.6 FATE Board

  • 本机通过浏览器访问URL：IP:8080或虚拟机通过浏览器访问URL：localhost:8080能够进入FATE Board界面
    在这里插入图片描述

4. 安装FATE-Client、FATE-Test、FATE-Flow、jupyter notebook

4.1 FATE-Client、FATE-Test

  • 为方便使用FATE，安装便捷的交互工具FATE-Client以及测试工具FATE-Test.
  • 请在环境内使用以下指令安装：
    $ python -m pip install fate-client
$ python -m pip install fate-test

4.2 FATE-Flow

  • 安装FATE-Client的过程会安装好FATE-Flow，这个工具是联邦学习端到端流水线的多方联邦任务安全调度平台，是执行任务的核心
  • 初始化
    $ flow init --ip 127.0.0.1 --port 9380
    • 注意：FATE集群版的FATE-Flow的初始化命令（单机版中不存在该.yaml文件）
      flow init -c /data/projects/fate/conf/service_conf.yaml
    在这里插入图片描述

4.3 FATE中的Jupyter Notebook

参考：在Juypter Notebook中构建联邦学习任务 

$ pip install notebook fate-client

启动 Juypter Notebook 服务并监听 20000 端口，待服务启动完毕后则可以通过的方式 "IP：Port" 的方式访问 Notebook
$ jupyter notebook --ip=0.0.0.0 --port=20000 --allow-root --debug --no-browser --NotebookApp.token= ''--NotebookApp.password= ''
  • 保持终端运行的状态，可以通过"IP：Port"的方式访问Juypter Notebook，此时notebook中的目录，就是Ubuntu中fate安装目录下的内容（按本教程的安装过程，fate根目录位于/home/fate/standalone_fate_master_1.6.0/）
    在这里插入图片描述
HarrisonWu42
关注
专栏目录
FATE实战：联邦学习开源框架避坑指南
FedAI联邦学习的博客
12-26 1464
引言：作者根据自身实操经验，总结出FATE使用及研究过程中的几个细节问题，如果你也正在研究联邦学习，或使用FATE，这些“坑”可以通过这篇特邀分享解决。 安装部署 裸机安装storage­service­cxx无法启动 1.相关issue在此，点击可查看 2.解决办法点击查看，下载重新编译替换即可 kubefate安装，使用nfs时mysql起不来 不同party，mysql挂载目录需要不...
FATE实践（参考联邦学习实战）
xinshengtudou的博客
03-18 1065
1. 以管理员身份进入FATE容器 [root@localhost cen]# docker exec -it fate_python bash 2.编辑配置upload_data_host.json(upload_data_guest.json)文件，主要修改file, table_name, namespace字段 vim /fate/examples/dsl/v1/upload_data_host.json 修改内容 { "file": "examples/data/b..
【FATE】==在Docker中部署FATE——单机版==
zhangzx18的博客
11-17 2411
目录1. Docker部署1.1 环境准备1.2 Docker安装 1. Docker部署 1.1 环境准备 主机需要能够访问外部网络，从公共网络中拉取安装包和Docker镜像； 依赖Docker和Docker-Compose，Docker建议版本为18.09，Docker-Compose建议版本为1.24.0。您可以使用以下命令验证docker环境：docker --version和docker-compose --version，；docker的启动、停止以及其他操作请参考docker –help.
Fate实战——部署
最新发布
niujinya的博客
09-25 766
fate2.0在centos7基础环境搭建。
FATE框架实战（一）
weixin_44379605的博客
04-23 945
1.1安装 我用的docker的方式 #Get code wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/docker_standalone_fate_${version}.tar.gz tar -xzvf docker_standalone_fate_${version}.tar.gz #Execute the command cd docker_standalone_fate_${version} bash inst
Fate框架教程
浅若清风cyf的博客
07-28 1万+
GitHub：https://github.com/webankfintech/fate An Industrial Level Federated Learning Framework https://www.fedai.org/ 这篇文章主要是整合Fate框架安装所需的软件环境的安装方法： 软件环境：jdk1.8+、Python3.6、pythonVirtualenv、mysql5.6+、re...
联邦学习FATE（单机部署）案例搭建+安装（超详细）
热门推荐
qq_43604183的博客
07-27 1万+
CentOS7安装FATE并搭建案例，另有虚拟机、centos安装教程。
基于联邦学习的电影推荐系统,采用联邦学习框架FATE1.3.1的横向联邦推荐算法
05-03
环境配置流程： 1、备好一台配置足够的服务器，安装CentOS 7系统。 2、安装python3.6,更改usr/bin链接。 3、安装virtualenv 和 virtualenvwrapper。 4、安装jdk1.8并配置环境...至此，FATE联邦学习框架部署完成。
FATE单机部署指南：联邦学习框架解析
"FATE单机部署教程，包括Fate介绍，FederatedML，FATE Serving，FATEFlow等核心组件的讲解，并涵盖环境准备、部署、测试等步骤" Fate是一个由微众银行AI部门发起的开源项目，专注于联邦学习领域的安全计算框架。它...
Fate部署实战——从零开始实现Fate cluster部署.pdf
08-19
Fate部署实战——从零开始实现Fate cluster部署 在本文中，我们将详细介绍Fate cluster的部署方式，从零开始一步一步实现Fate cluster的部署。 一、总体介绍 FATE（Federated AI Technology Enabler）是一款基于...
（一）CentOS7下的FATE框架单机部署
Limeym的博客
07-11 1673
CentOS7 FATE 单机部署
【联邦学习FATE框架实战】（二）用FATE从零开始实现横向逻辑回归
Hombre sin rostro的博客
02-18 5242
目录1. 获取数据集1.1 下载数据集1.2 横向数据集切分2. 通过DSL Conf运行训练和预测任务2.1 数据输入2.2 模型训练2.2.1 配置DSL文件2.2.2 运行配置Submit Runtime Conf2.2.3 提交任务，训练模型2.3 模型评估2.3.1 修改DSL2.3.2 修改conf2.3.3 提交任务 1. 获取数据集 1.1 下载数据集 数据集：乳腺癌肿瘤数据集（内置在sklearn库） from sklearn.datasets import load_breast_c
【联邦学习FATE框架实战】（四）用FATE从零开始实现纵向线性回归
Hombre sin rostro的博客
03-23 5097
目录1. 制作数据集2. 通过DSL Conf运行训练和预测任务2.1 数据输入2.2 模型训练2.2.1 配置DSL文件2.2.2 运行配置Submit Runtime Conf2.2.3 提交任务，训练模型2.3 模型评估2.3.1 修改DSL2.3.2 修改conf2.3.3 提交任务 1. 制作数据集 数据集：波士顿房价预测数据集，样本数506，13个特征，标签是房屋得均价 from sklearn.datasets import load_boston import pandas as pd
(二)联邦学习-Fate单机部署
富强说
02-20 1万+
目录1. Fate介绍1.1 FederatedML1.2 FATE Serving1.3 FATEFlow1.4 FATEBoard1.5 Federated Network1.6 KubeFATE2.Fate部署架构说明3.环境准备4. 部署5. 单机测试6.执行测试任务7.查看测试任务执行情况 1. Fate介绍 FATE (Federated AI Technology Enabler) ...
【联邦学习实战】基于FATE框架的MNIST手写数字识别——卷积神经网络
HERODING23的博客
05-01 4419
在FATE上基于mnist数据集训练手写数字识别模型前言1. 下载MNIST数据集1.1 KagglePython格式转换2. 数据集分割3.数据集上传3.1 docker上传3.2 rz工具3.3 FATE数据上传参考链接 前言 ATE是微众银行开发的联邦学习平台，是全球首个工业级的联邦学习开源框架，在github上拥有超过4000stars，可谓是相当有名气的，该平台为联邦学习提供了完整的生态和社区支持，为联邦学习初学者提供了很好的环境，否则利用python从零开发，那将会是一件非常痛苦的事情。本篇博客
单机版Fate安装教程（含虚拟机搭建）
chen695539389的博客
08-24 2759
单机版Fate安装教程（含虚拟机搭建） 1.虚拟机安装 1）下载VMware https://www.vmware.com/products/workstation-player/workstation-player-evaluation.html 2）双击下载的文件 3）安装Microsoft VC Redistributable 4）再双击下载好的文件，下一步 5）选择安装位置，这里有增强型键盘驱动程序，可选可不选。 6）安装 7）Ubuntu镜像文件下载（注意系统内存和存储空间） https
干货 | 《联邦学习FATE入门与应用实战》第六课直播回顾！课件详情看这里
FedAI联邦学习的博客
03-27 680
​FATE是全球首个工业级的联邦学习开源框架，旨在提供安全的计算框架来支持联邦AI 生态，其在实践生产中有着丰富的应用。 这个3月，微众银行与VMware以及机器之心联合开展了主题为《联邦学习FATE入门与应用实战》的课程，用4周6节课的时间帮助大家在较短周期内完成联邦学习从学到用的全过程。 【联邦学习FATE课程第六期】联邦推荐算法及其应用 以上为第六期课程《联邦学习...
FATE使用手册
every place is the center of the universe
09-19 7372
python fate_flow operation task_executor 。。。 模型，pipeline-mini-demo运行—（1）添加链接描述
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值