基于双k8s集群搭建联邦学习kubefate

最新推荐文章于 2024-05-23 09:41:39 发布
最新推荐文章于 2024-05-23 09:41:39 发布
阅读量1.4k 收藏 4
点赞数 2
分类专栏： 机器学习 文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haveanybody/article/details/108253667
版权

一、前言

关于联邦学习的背景这里就不做过多介绍了，感兴趣的同学可以去百度一下。联邦学习主要是为了解决数据孤岛和多方安全计算问题的，简单地说就是大家都拿出各自的数据一起建模，但是对方又不能看到或者得到自己的数据，训练的模型大家都可以用。

联邦学习分为：横向联邦学习，在两个数据集的用户特征重叠较多而用户重叠较少的情况下，我们把数据集按照横向 (即用户维度)切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练，例如，银行A和银行B都有自己的客户流水信息，特征是一样的，交易时间、金额等，但是用户不同，那么银行A和银行B就可以一起进行横向联邦学习建模了，相当于是增加了训练集；纵向联邦学习，在两个数据集的用户重叠较多而用户特征重叠较少的情况下，我们把数据集按照纵向 即特征维度）切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练，例如，银行A有客户的流水信息，收单机构或者ERP服务商B有顾客的消费信息，且A和B的客户有很大部分是相同的，那么A和B就可以联合进行纵向联邦学习建模了，例如风控模型、用户画像等，纵向联邦学习相当于是数据集大小不变，但是特征维度增加了；迁移联邦学习，在两个数据集的用户与用户特征重叠都较少的情况下，我们不对数据进行切分，而可以利用迁移学习来克服数据或标签不足的情况。

目前主要的联邦学习解决方案有：微众银行的fate，谷歌的ttf（基于tensorflow），PySyft（基于PyTorch），蚂蚁金服共享机器学习等，本文主要介绍基于k8s部署fate框架kubefate。

二、安装

2.1 部署方式

fate提供了多种部署方式，包括单机版部署、本地集群部署、k8s部署、docker compose部署等方式，具体可参考下面链接：

FATE：https://github.com/FederatedAI/FATE

KubeFate（k8s）：https://github.com/FederatedAI/KubeFATE/tree/master/k8s-deploy

KubeFate（docker compose）：https://github.com/FederatedAI/KubeFATE/tree/master/docker-deploy

FATE官网：https://cn.fedai.org/

FATE API：https://fate.readthedocs.io/en/latest/

如果单机版的可以满足需求，自然以版本单机部署最好。对于集群版，可以采用本地部署或者kubefate部署，本地部署的缺点就是步骤比较麻烦，需要部署的组件比价多，而且要修改很多配置文件，如ip地址、端口等，非常容易出错，这也是fate官方做的不好的地方，没有一键部署脚本，很多地方都要修改。KubeFate可以基于docker compose部署，也可以基于k8s部署，官方推荐在开发或者测试环境可以基于docker compose部署，生产环境基于k8s部署，不过我想一般很少有人会把测试和生产使用不同的环境，基于k8s部署KubeFate的好处是部署简单，无需关心内部的很多细节配置，只要把相关镜像和文件加载进去即可。但是对于不熟悉k8s的同学来说，最好还是采用本地部署的方式，毕竟维护k8s本身也需要专业的团队。

2.2 kubefate多方架构

FATE cluster有两种部署模式： exchange模式和直连模式，本文只有两个集群，使用的是直连模式。

exchange模式：每一方都连接到exchange，它有所有各方的代理地址。对于exchange集群的cluster.yaml，只需要配置partyList，无需exchange配置信息。对于其他party，只需要填写exchange ip和port即可，无需partylist配置项。

直连模式：party之间直接连接，不需要配置exchange信息，把各party信息配置到partyList即可。

2.3 部署kubefate

在部署之前，首先保证有两个可以正常运行的k8s集群（或者一个k8s集群，使用namespace隔离也是可以的），并且两个集群有公网访问功能，集群之间网络互通（对于内网服务器可以先在有外网的测试环境下载镜像然后拷贝到内网环境）。本文使用的为两个单master的k8s集群，每个集群三台机器，kubefate版本为1.4.0。k8s集群ip如下：

k8s集群1（party1）IPk8s集群2（party2）IP
172.30.251.178/app1（k8s master）172.30.251.51（k8s master）
172.30.251.179/app2172.30.251.50
172.30.251.180/app3172.30.251.49

（1）在k8s master节点服务器上下载kubefate文件并解压：

https://github.com/FederatedAI/KubeFATE/releases/download/v1.4.0/kubefate-k8s-v1.4.0.tar.gz

下面步骤默认不说明的情况下是在两个集群master节点上都执行。

（2）配置rbac

kubectl apply -f ./rbac-config.yaml

（3）安装kubefate server

kubectl apply -f ./kubefate.yaml

kubefate.yaml文件主要是一些组件服务配置，如用户密码等，具体可以参考官方说明。 

查看部署结果如下，如果两个pod的状态都是Running说明kubefate server已经部署成功了。：

（4）查看ingress的pod运行的的node的名称

（5）设置对应的host

party1

echo "172.30.251.179 kubefate.net" >> /etc/hosts

party2

echo "172.30.251.50 kubefate.net" >> /etc/hosts

（6） 查看是否连通

如果可以正确打印版本信息，且没有任何错误，则表示连通。 

（7）创建namespace

在party1上执行：

kubectl create namespace fate-9999

在party2上执行：

kubectl create namespace fate-10000

为了便于识别，9999和10000也是两个集群的partyId。

（8）修改cluster.yaml

这里需要注意如本章2.2节介绍的那样，并没有使用exchange模式，使用的是直连模式，所以删除了exchange配置信息。cluster.yaml的配置信息可以参见官方说明。

修改party1的cluster.yaml如下：

name: fate-9999
namespace: fate-9999    ##和(4)中的namespace一致
chartName: fate
chartVersion: v1.4.0
partyId: 9999            ##partyId
registry: ""
pullPolicy:
persistence: false
modules:
  - rollsite
  - clustermanager
  - nodemanager
  - mysql
  - python
# - client

rollsite:
  type: NodePort
  nodePort: 30009               ##己方的nodePort
  partyList:                    ##在此添加所有参与方信息
  - partyId: 10000              ##对方partyId
    partyIp: 172.30.251.50      ##对方ip
    partyPort: 30010            ##对方partyPort
  nodeSelector: {}

nodemanager:
  count: 3
  sessionProcessorsPerNode: 4
  list:
  - name: nodemanager
    nodeSelector: {}
    sessionProcessorsPerNode: 2
    subPath: "nodemanager"
    existingClaim: ""
    storageClass: "nodemanager"
    accessMode: ReadWriteOnce
    size: 1Gi

python:
  fateflowType: NodePort
  fateflowNodePort: 30109
  nodeSelector: {}

mysql:
  nodeSelector: {}
  ip: mysql
  port: 3306
  database: eggroll_meta
  user: fate
  password: fate_dev
  subPath: ""
  existingClaim: ""
  storageClass: "mysql"
  accessMode: ReadWriteOnce
  size: 1Gi

# If use external MySQL, uncomment and change this section
# externalMysqlIp: mysql
# externalMysqlPort: 3306
# externalMysqlDatabase: eggroll_meta
# externalMysqlUser: fate
# externalMysqlPassword: fate_dev

# If FATE-Serving deployed, uncomment and change
# servingIp: 192.168.9.1
# servingPort: 30209

修改party2的cluster.yaml如下：

name: fate-10000    
namespace: fate-10000    ##和(4)中创建的namespace保持一致
chartName: fate
chartVersion: v1.4.0
partyId: 10000           ## partyId
registry: ""
pullPolicy:
persistence: false
modules:
  - rollsite
  - clustermanager
  - nodemanager
  - mysql
  - python
# - client

rollsite:
  type: NodePort
  nodePort: 30010               ##己方nodePort
  partyList:                    ##把各参与方信息都加到下面
  - partyId: 9999               ##对方partyId
    partyIp: 172.30.251.179     ##对方ip
    partyPort: 30009            ##对方nodePort
  nodeSelector: {}

nodemanager:
  count: 3
  sessionProcessorsPerNode: 4
  list:
  - name: nodemanager
    nodeSelector: {}
    sessionProcessorsPerNode: 2
    subPath: "nodemanager"
    existingClaim: ""
    storageClass: "nodemanager"
    accessMode: ReadWriteOnce
    size: 1Gi

python:
  fateflowType: NodePort
  fateflowNodePort: 30109
  nodeSelector: {}

mysql:
  nodeSelector: {}
  ip: mysql
  port: 3306
  database: eggroll_meta
  user: fate
  password: fate_dev
  subPath: ""
  existingClaim: ""
  storageClass: "mysql"
  accessMode: ReadWriteOnce
  size: 1Gi

# If use external MySQL, uncomment and change this section
# externalMysqlIp: mysql
# externalMysqlPort: 3306
# externalMysqlDatabase: eggroll_meta
# externalMysqlUser: fate
# externalMysqlPassword: fate_dev

# If FATE-Serving deployed, uncomment and change
# servingIp: 192.168.9.1
# servingPort: 30209

（9）部署fate cluster

kubefate cluster install -f ./cluster-A.yaml

执行命令后，会显示一条部署的job id，可以使用./kubefate job describe命令查看部署状态，直到Result显示为：Cluster install success（这一步可能需要很长时间）：

如果忘记job id，可以使用 ./kubefate job list 查看

（10）查看fate运行状态

下面命令查看（9）中的ClusterId运行状态，可以看到 Status 为 Running，并打印出cluster信息。

./kubefate cluster describe 632176c5-7667-4177-abe7-eb39ac485d01

2.3 测试kubefate

安装完毕以后，就可以测试 kubefate 了。

（1）分别打开party1和party2的python container：

kubectl exec -it svc/fateflow -c python -n fate-9999 -- bash
kubectl exec -it svc/fateflow -c python -n fate-10000 -- bash

（2）执行toy_example脚本

cd examples/toy_example/
python run_toy_example.py 10000 9999 1

最后可以看到 success to calculate secure_sum, it is 1999.9999999999999999 结果。

大白兔黑又黑
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kubernetes Federation集群联邦
阿澈不吃蒜的博客
10-24 1112
统一部署主要是指定一个联邦资源在哪些k8s集群部署，被指定的k8s集群会创建相应的k8s资源，有副本数的资源k8s集群上部署的副本数与联邦资源写的副本数一致（除非针对特定k8s集群进行了覆写，后面有例子），其中deployment 和 replicaset可以用 ReplicaSchedulingPreference 实现更复杂的调度策略，比如指定总副本数，以及在每个k8s集群的副本数权重，调度器会按要求调节每个k8s集群的副本数达到相加后是总数的目的。
【kubernetes/k8s概念】多集群联邦 kubefed
热门推荐
zhonglinzhang
07-30 1万+
Kubernetes Federation(联邦) 目的是希望实现单一集群统一管理多个Kubernetes集群，这些集群可能是跨地区(Region)，也可能是在不同公有云供应商(Cloud Provider)上，亦或者是公司内部自行建立的集群。 安装 helm v3 版本 下载 helm v3， 二进制文件 /usr/local/bin/helm wgethttps://get.helm.sh/helm-v3.6.0-linux-amd64.tar.gz ...
推荐开源项目：KubeFATE - 面向联邦学习的云原生平台
最新发布
gitblog_00013的博客
05-23 635
推荐开源项目：KubeFATE - 面向联邦学习的云原生平台 项目地址:https://gitcode.com/FederatedAI/KubeFATE 项目介绍 在数据隐私和安全日益重要的今天，联邦学习（Federated Learning）作为一种分布式机器学习方法，允许不同组织协作训练模型而无需直接分享各自的数据。KubeFATE 正是这样的一个云原生框架，它将Federated Learn...
FATE联邦学习框架之KubeFATE部署（基于K8S）最详细过程
qq_32202885的博客
07-27 4797
FATE(FederatedAITechnologyEnabler)是一个联邦学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和建模。但由于其系统的分布式特性，导致使用存在一定门槛。鉴于此，微众银行联合VMware一起开发了KubeFATE项目，致力于降低FATE的使用门槛和系统运维成本。本文将首先分析FATE的整体架构，帮助读者理解各部件的作用；然后将展示如何从一台Linux机器开始，通过KubeFATE一步一步来搭建联邦学习的实验环境。（这些全部都是官方的介绍大。
K8s最佳实践！这些热门案例你清楚吗？
关注微信公众号【开源Linux】，后台回复『10T』，领取10T学习资源大放送，涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频
11-02 358
容器已成为2023年的热门话题。面对庞大的容器业务管理需求，企业急需一种工具来集中管理所有容器，但招聘市场却供不应求。目前最热门的容器管理工具是谷歌公司推出的Kubernetes（简称K8s），其市场份额占比高达95%以上。（根据看准网2023年10月数据显示，同行业大厂平均月薪可达25k）根据最新的市场研究报告，Kubernetes的市场份额在过去的一年中增长了近50%，显示出其在容器管理领域的...
k8s配置中心实战-多环境交付apollo三组件
qq_43076479的博客
08-18 447
1.环境准备工作 先删除infra名称空间中部署的apollo服务 kubectl delete -f http://k8s-yaml.zq.com/apollo-configservice/dp.yaml kubectl delete -f http://k8s-yaml.zq.com/apollo-adminservice/dp.yaml kubectl delete -f http://k8s-yaml.zq.com/apollo-portal/dp.yaml 要进行分环境，需要将现有实验环
k8s集群搭建
01-07
环境准备 在VMWare 中安装Centos7做为master 节点 Master 节点操作 关闭图形界面 systemctl set-default multi-user.target 配置yum源 ...yum makecache 关闭防火墙 systemctl stop firewalld & systemctl disable ...
docker k8s集群搭建
04-01
"docker k8s集群搭建" docker k8s集群搭建是当前非常热门的技术，用于构建高可用、可扩展的分布式应用系统。本文将详细介绍docker k8s集群搭建的步骤和配置。 一、环境准备 在开始搭建集群之前，我们需要准备好...
K8s集群搭建ansible部署脚本
04-21
我个人给公司开发的使用ansible部署k8s的脚本，支持vagrant调用ansbile，和直接ansible执行两种方式。k8s二进制组件使用最新的1.23.5 部署以下模块内容包括： preinstall 安装前准备，主机环境初始化，二进制文件...
k8s集群环境搭建资源
10-27
k8s集群环境的搭建是一项复杂而重要的任务，它涉及到多个组件的安装配置，包括Master节点和Worker节点，以及网络策略、存储、安全等多方面的设置。下面我们将详细探讨k8s集群环境搭建的相关知识点。 1. **Master...
k8s搭建Nacos集群
05-26
k8s搭建Nacos集群，制作Java运行容器镜像，再制作Nacos镜像 Nacos版本是：2.1.0 说明： 如果想搭建：2.2.0也根据文档步骤操作即可
3节点Fate集群实战记录 -- 纵向联邦学习
Acecai01的博客模板
12-27 1211
基于单个master的k8s集群，在3节点fate集群进行纵向联邦学习测试
联邦学习框架FATE V1.7发布：性能巨幅提升，助力多系统互联互通
FedAI联邦学习的博客
11-24 2602
FATE (Federated AI Technology Enabler）是微众银行人工智能团队自研的全球首个联邦学习工业级开源框架，它提供一种基于数据隐私保护的安全计算框架，为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。 从2019年2月开源至今，FATE已迭代了十余版本，在金融、医疗等众多领域有了落地应用，汇聚了上千家企业、高校等科研机构的开发者。 近日，FATE V1.7正式发布，为开发者带来9项重要更新： ■性能提升：横纵向联邦SecureBoost性能提升5倍...
kubernetes 联邦搭建(kubefed)
weixin_46357079的博客
07-02 977
集群联邦（Federation）的目的是实现单一集群统一管理多个Kubernetes集群的机制，这些集群可能是跨地区（Region），也可能是在不同公有云供应商上，或者是公司内部自行建立的集群。一但集群进行联邦后，就可以利用Federation API资源来统一管理多个集群的Kubernetes API资源，如定义Deployment如何部署到不同集群上，其集群所需的副本数等。通过集群联邦，我们可以：前置条件我这里用的是华为云的cce和本地kubernetes的组合华为云集群地址需要公有地址下载华为云kub
k8s特性
qq_44912603的博客
11-20 1415
一个目标：容器操作；两地三中心；四层服务发现；五种Pod共享资源；六个CNI常用插件；七层负载均衡；八种隔离维度；九个网络模型原则；十类IP地址；百级产品线；千级物理机；万级容器；相如无亿，K8s有亿：亿级日服务人次。 一个目标：容器操作 Kubernetes(k8s)是自动化容器操作的开源平台。这些容器操作包括：部署，调度和节点集群间扩展。 具体功能： 自动化容器部署和复制。 实时弹性收缩容器规模。 容器编排成组，并提供容器间的负载均衡。 调度：容器在哪个机器上运行。 组成： kubectl:客户端命令行
k8s安装3节点的联邦学习Fate集群 v1.7.2（全网最细-解决N多坑）
Acecai01的博客模板
12-09 1846
单个master集群条件下用k8s部署Fate
k8s集群 双主双从高可用架构
oop6666的博客
02-17 1212
*可以看出master的状态是未就绪（NotReady**），之所以是这种状态是因为还缺少一个附件**flannel**，没有网络各Pod是无法通信的。下面这三个镜像就是master管理节点上前面初始化之前要加载的其中的三个 没有可以从master上直接打包成tar包cp过来或者直接下载。以上是主节点的安装部署，然后是node1 node2节点的安装，和加入集群，这里注意，验证，node01节点已经准备好了相关的镜像。两台主节点 都改一样的 最后的ip换成自己的两个主节点ip 后面端口号别动。
Kubernetes——Federation集群联邦原理与实战
庄小焱
02-13 1263
摘要 组织需要部署多个 Kubernetes 集群来为不同的业务提供隔离，增强可用性和可扩展性。多集群是一种在多个 Kubernetes 集群上或跨集群部署应用的策略，目的是提高可用性、隔离性和可扩展性。多集群对于确保遵守不同的和相互冲突的法规非常重要，因为单个集群可以进行调整，以遵守特定地域或认证的法规。软件交付的速度和安全性也可以提高，单个开发团队将应用程序部署到隔离的集群中，并有选择地暴露哪些服务可用于测试和发布。 一、多集群服务 API（Multi-Cluster Services API）
k8s-Kubernetes--集群部署
Gong_yz的博客
03-06 2757
在Docker 作为高级容器引擎快速发展的同时，在Google内部，容器技术已经应用了很多年，Borg系统运行管理着成千上万的容器应用。Kubernetes项目来源于Borg，可以说是集结了Borg设计思想的精华，并且吸收了Borg系统中的经验和教训。Kubernetes对计算资源进行了更高层次的抽象，通过将容器进行细致的组合，将最终的应用服务交给用户。隐藏资源管理和错误处理，用户仅需要关注应用的开发。服务高可用、高可靠。可将负载运行在由成千上万的机器联合而成的集群中。
K8S集群、联邦集群对比
05-30
K8S 集群和联邦集群都是 Kubernetes 的一种实现方式，但它们有不同的应用场景和特点。 K8S 集群是一组运行 Kubernetes 的节点，用于管理 Docker 容器和其他容器化应用。它可以在单个集群内提供高可用性、自动伸缩、自动修复和负载均衡等功能。K8S 集群适用于单个组织或企业内的多个应用和服务。 联邦集群是多个独立的 K8S 集群的联合，它们可以跨地域、跨云平台或跨组织进行联合管理。联邦集群允许用户在多个 K8S 集群之间共享资源、策略和配置，并提供跨集群的服务发现和负载均衡。联邦集群适用于大型多组织、多地域或多云平台的应用和服务。 总之，K8S 集群适用于单个组织或企业内的多个应用和服务，而联邦集群则适用于大型多组织、多地域或多云平台的应用和服务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值