使用KubeFATE完成FATE的集群部署(十分详细!!!)(二)

目录

 

前期准备

进行部署

运行测试


前期准备

使用KubeFATE完成FATE的集群部署(十分详细!!!)(一)

https://blog.csdn.net/soumnswpz/article/details/105141624

 

进行部署

上一篇文章我们介绍了如何去安装docker,docker-compose,现在要用到它了。

你需要通过如下地址进行下载。这个文件大概有6-10G,所以可以在网速好的机器上下载完成之后拷贝到部署机和目标机。

wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate_1.3.0-images.tar.gz

这里的1.3.0可以在官网找到最新版的,github网址
        https://github.com/FederatedAI/KubeFATE/blob/master/docker-deploy/README_zh.md

或者你之前就下载好了这个镜像文件。通过

docker load < fate_1.3.0-images.tar.gz
或者
docker load -i fate_1.3.0-images.tar.gz

导入我们已经下载好的镜像文件,此时我们可以查看docker中具体都有哪些镜像文件。

docker images

 

完成之后我们需要在部署机上下载KubeFATE-docker-compose.tar.gz文件,此文件的路径在上面的网址,点击项目名,找到release,下拉即可找到kubefate-docker-compose.tar.gz,右键复制地址。

wget https://github.com/FederatedAI/KubeFATE/releases/download/v1.3.0-a/kubefate-docker-compose.tar.gz

这里的版本也是可以调整的,同样需要去github查看最新版本。

下面我们就开始部署。

将你下载的文件移动到/home目录下,进行解压:

解压完之后,进入docker_deploy目录

 

清楚的看到该目录下的相关文件,其中我们要经常用到的就是docker_deploy.sh。当然了,我们需要先进行配置才能进行下一步。打开parties.conf

vim parties.conf

//下面显示的就是文件内的内容

#!/bin/bash

user=root
dir=/data/projects/fate
partylist=(10000 9999)
partyiplist=(192.168.1.1 192.168.1.2)
servingiplist=(192.168.1.1 192.168.1.2)

# party 1 will host the exchange by default
exchangeip=

user指的就是在部署机登录目标机的时候的用户名,一般都是root用户,涉及到文件的拷贝、移动等权限。

partylist指的就是给部署机、目标机一个ID值。

partyiplist指部署机、目标机的IP地址,servingiplist类似。

如果你的部署机与其中一台目标机不在同一台机器,那么就需要修改exchangeip。如果在同一台机器,无需管理。

下面,修改ip地址为你的机器ip。

 

修改完保存,生成部署文件。

bash generate_config.sh

写到这里我的虚拟机实在不给力,没办法去阿里云租了两台临时的,继续写。

如下图,则生成部署文件成功:

OK,已经生产了部署文件,你可以在docker-deploy下看到新生成了一个outputs文件夹,打开就会看到

好的,我们继续部署,首先部署

 bash docker_deploy.sh all --training

接下来,如果你没有配置免密输入,那么需要你输入几次密码,以及几个yes。如下图:

这是ID=10000的机器上进行了部署操作

像这样,几个done,以及下面出现的ok,那么部署成功了,下面会继续另一台机器的部署,不用操作,只需输入密码即可。

现在training已经部署完毕,继续serving的部署。

 bash docker_deploy.sh all --serving

当你再次看到done done done 的时候,那么恭喜你,应该是部署成功,我们做一个简单的验证。

docker exec -it confs-10000_python_1 bash   
cd /data/projects/fate/python/examples/toy_example            
python run_toy_example.py 10000 9999 1  

出现如下图的内容,那么恭喜你,部署成功。

 

运行测试

这一步我就不在这里赘述,请移步至官方文档查看。

https://github.com/FederatedAI/KubeFATE/blob/master/docker-deploy/README_zh.md

后面还会有有关FATE的相关介绍,等我学习之后再说吧~

 

 

 

 

 

  • 3
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
Fate(Federated AI Technology Enabler)是一个开源的联邦学习框架,用于保护数据隐私和实现跨多个组织的机器学习模型的联合训练。 Fate集群部署文档指的是在搭建Fate框架时的操作指南,下面将详细解释这个文档的内容。 Fate集群部署文档主要包括以下几个方面: 1. 环境准备:文档中会介绍Fate框架所需的硬件和软件环境要求,包括操作系统、CPU、内存、磁盘等方面。用户需要根据自己的实际情况来配置环境。 2. 安装部署:文档中会给出Fate框架的安装部署步骤,包括下载Fate源码、安装相关依赖、配置环境变量等。根据文档的指引,用户可以顺利地完成Fate框架的安装部署。 3. 配置管理:文档中会介绍Fate集群的配置管理,包括集群的组件配置、端口配置、日志配置等。用户可以根据自己的需求,对Fate集群进行相应的配置管理。 4. 启动和停止:文档中会详细介绍如何启动和停止Fate集群,包括启动Fate服务、启动各个组件等。同时,文档中也会介绍如何监控和管理Fate集群的运行状态。 5. 故障处理:文档还会包含一些故障处理的指引,比如常见错误的排查和解决、组件出现故障的处理方法等。用户可以参考文档中的内容,对Fate集群进行故障处理。 总之,Fate集群部署文档是一个详细介绍如何搭建和配置Fate框架的操作指南,用户可以按照文档的指引,完成Fate集群部署和配置,从而实现联邦学习的模型训练与使用

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值