KubeFATE搭建集群，两台服务器上

已于 2022-07-06 20:52:30 修改
阅读量893 收藏 2
点赞数
文章标签： 大数据 linux docker 服务器 容器
于 2022-07-06 17:16:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45348164/article/details/125636622
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

前言：

一、下载KubeFATE，docker,docker-compose：

1.在这个链接里找到你要的版本，下载，解压，放到服务器里去。如下图所示：

 2.让两台服务器免密通信：

 3.安装docker与docker-compose

二、配置部分：

1.修改镜像配置文件（可选）

2.手动下载镜像（可选）

2.1下图是简易版的，但是，我没找到匹配1.7.2的，我用的是2.2的方法。下图链接：

 2.2找不到fate_1.7.2-images.tar.gz

3.修改 docker-deploy/partie.conf 配置文件 

 三.后续配置，参考官方教程：

总结：

前言：

用于两台服务器上搭建框架（192.168.29.197（部署机）；192.168.29.222（目标机））

一、下载KubeFATE，docker,docker-compose：

1.在这个链接里找到你要的版本，下载，解压，放到服务器里去。如下图所示：

Releases · FederatedAI/KubeFATE · GitHub

 2.让两台服务器免密通信：

安装ssh服务：(用yum还是apt-get和虚拟机的类型有关)


yum install openssh-server
#安装完成之后继续在命令行输入
ps -e | grep ssh

 只要出现那个sshd就可以了

如果未显示相关的ssh，可以通过启动命令，启动ssh服务（这个部分摘抄其他大佬的，有点多）

FATE | ubuntu用KuteFATE在多台机器部署联合学习框架FATE——要点_南瓜派三蔬的博客-CSDN博客

启动命令
/etc/init.d/ssh start
重启命令
/etc/init.d/ssh restart
或者
service sshd restart
关闭命令
/etc/init.d/ssh stop
或者
service sshd stop
先登录另一台服务器（222）：
ssh root@192.168.29.222
 
此处的root指的是你需要远程登录的用户名，后面跟着的是主机IP地址

运行命令之后，你很可能遭遇：

运行命令之后，你很可能遭遇：

root@ubuntu:~# ssh root@192.168.29.222
root@192.168.29.222's password: 
Permission denied, please try again.
root@192.168.29.222's password:

不用担心，接下来我们去配置一些文件就可以进行远程连接了。输入命令：

桌面版的可以输入
gedit /etc/ssh/sshd_config
也可以输入
vim /etc/ssh/sshd_config
 
输入完成之后，你会打开一个文件修改其中如下几项：
 
PermitRootLogin yes
PasswordAuthentication yes
ChallengeResponseAuthentication yes
 
保证这几行取消了注释，并且为yes（如下图所示）

OK，保存文件，重启ssh服务，再次输入远程登录命令，回车即可远程登录。

当然，你也可以选择选择无密登录，需要你互相将两台机器的秘钥文件复制给对方。生成秘钥的命令：

ssh-keygen -t rsa
(四连回车)
如下（类似）即成功：
+---[RSA 2048]----+
|+o  .+oo.... o   |
|B= +.ooo... =    |
|=oX oo. o .=     |
|.B.+. .. oo .    |
|*o.  o  S  .     |
|*. +.            |
|o.+ .            |
|o.               |
|E                |
+----[SHA256]-----+
然后
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
然后授权
chmod 600 ~/.ssh/authorized_keys
此时你可以尝试免密登录自己的机器，刷～，就成功了

但是此时你还是只能登录自己的机器，如果需要双向登录，那么就开始传输你们的秘钥吧。（这步，我没成果，但是我在222上把刚才的操作来了一遍，使得197和222都可以免密登录了）

ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.29.197

成功免密登录如下：

 3.安装docker与docker-compose

snap安装命令

snap install docker

验证是否安装成功

sudo docker run hello-world

 装compose很简单：

sudo curl -L "https://github.com/docker/compose/releases/download/1.24.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

下载完成后还需要赋予docker-compose可执行的权限，

chmod +x /usr/local/bin/docker-compose

 运行：docker --version；docker-compose --version（如下图所示）

二、配置部分：

1.修改镜像配置文件（可选）

在默认情况下，脚本在部署期间会从 Docker Hub中下载镜像。

对于中国的用户可以用使用国内镜像源： 具体方法是通过编辑docker-deploy目录下的.env文件,给RegistryURI参数填入以下字段：

RegistryURI=hub.c.163.com

2.手动下载镜像（可选）

2.1下图是简易版的，但是，我没找到匹配1.7.2的，我用的是2.2的方法。下图链接：

FATE | ubuntu用KuteFATE在多台机器部署联合学习框架FATE——要点_南瓜派三蔬的博客-CSDN博客

 2.2找不到fate_1.7.2-images.tar.gz

#注意，前三个的version是1.7.2，那三个sever的是2.0.4
#这些版本号。如何确定？，见下图：
docker pull federatedai/eggroll:<version>-release
docker pull federatedai/fateboard:<version>-release
docker pull federatedai/python:<version>-release
docker pull federatedai/serving-server:<version>-release
docker pull federatedai/serving-proxy:<version>-release
docker pull federatedai/serving-admin:<version>-release
docker pull bitnami/zookeeper:3.7.0 
docker pull mysql:8.0.28

示例：docker pull federatedai/eggroll:1.7.2-release
docker pull federatedai/serving-proxy:2.0.4-release

 验证镜像

docker images

注意，在197和222的两台机器上都要运行上述代码，就可以得到安装fate所有镜像，效果上图一样。

3.修改 docker-deploy/partie.conf 配置文件 

根据需求修改配置文件kubeFATE\docker-deploy\parties.conf

先进入deploy: 

cd docker-deploy


user=root   ##你当前的用户名
dir=/data/projects/fate     ##要安装的所有机器上fate安装目录
partylist=(10000 9999)				##要安装的所有机器的party编号
partyiplist=(192.168.29.197 192.168.29.222)   ##要安装FATE的所有机器的IP地址
servingiplist=(192.168.29.197 192.168.29.222) ##模型预测服务的IP地址，这个我观察基本都是和partylist一样
#需要跑神经网络的算法则需把这个改为true
enabled_nn=false

# default
#如果目标机和部署机是一台的话，这个不管，不然把这个exchangeip写成部署机的
exchangeip=192.168.29.197


执行生成集群启动文件脚本
bash generate_config.sh

执行启动集群脚本
 bash docker_deploy.sh all --training
上一个结束后：
 bash docker_deploy.sh all --serving
验证是否部署成功

docker exec -it confs-10000_client_1 bash                        #进入python组件容器内部
flow test toy --guest-party-id 10000 --host-party-id 9999        #验证
 

 三.后续配置，参考官方教程：
 

KubeFATE/README_zh.md at master · FederatedAI/KubeFATE · GitHub
 

总结：
 

单独参考一份搭建文档，不一定弄得出来，多参考一些吧。

                

        

        

    

  


    

      

        

            

              
                
                  博弈望天
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
K8S安装笔记（二）—— 多公网服务器搭建集群

				
			

			

				

					gmHappy
				

				

					05-18
					
					3万+
					
				

			

		

		

			
				
目标：基于以下两台公网云服务器搭建`k8s v1.23.0`集群。

			
		

	



                

              
                



	

		

			

				
					
多台es服务器搭建elasticsearch集群，es单机伪集群搭建，在一台服务器上以三个不同的端口模拟三台主机完成es伪集群搭建，windows和Linux操作方法一致

				
			

			

				

					一个学习Java开发的老头
				

				

					10-14
					
					3162
					
				

			

		

		

			
				
1）cluster.name，必须全部相同。 2）node.name ,必须各不相同 3）http.port，设置对外服务的http端口必须各不相同 4）transport.tcp.port，设置集群节点间交互端口必须各不相同 5）cluster.initial_master_nodes，必须配置写入要加入集群的node名称 6）discovery.seed_hosts，必须配置写入要加入集群的节点的集群间的通信ip+端口 

			
		

	



                


  
              

                


	

		

			

				
					
两台服务器集群巧搭建

				
			

			

				

					11-11
				

			

		

		

			
				
两台服务器集群巧搭建

			
		

	





	

		

			

				
					
redis5.0集群搭建(两台服务器)

				
			

			

				

					musi_m的博客
				

				

					06-16
					
					7939
					
				

			

		

		

			
				
redis5.0集群搭建(两台服务器)
用两台虚拟机模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环境。
redis 采用 redis-5.0.2 版本。
两台虚拟机都是 CentOS ，一台 Centos7 （IP:192.168.1.20），一台 Centos7（IP:192.168.1.22） 。
1 redis下载地址:http://redis.io/downlo...

			
		

	



		

			
		



	

		

			

				
					
两台服务器的集群方案

				
			

			

				

					weixin_34306676的博客
				

				

					05-21
					
					2434
					
				

			

		

		

			
				
两台服务器的集群方案
--------------------------------------------------------------------------------服务器集群系统中，服务器不再分布在各处，而是集中在一起统一进行管理和维护。它保持了分布式客户机/服务器模式的开发性、可扩展性的优点，同时又具备了终端/主机模式的资源共享和集中易于管理的优点。相...

			
		

	





	

		

			

				
					
kettle多台服务器集群搭建和使用

				
			

			

				

					10-23
				

			

		

		

			
				
本文将详细介绍如何在多台服务器上搭建并使用Kettle集群。  **环境准备：**  假设我们有三台服务器：  - 服务器A：IP地址为192.168.1.11，作为主服务器。 - 服务器B：IP地址为192.168.1.12，作为子服务器。 - 服务器...

			
		

	





	

		

			

				
					
两台服务器搭建zookeeper集群

				
			

			

				

					u011790603的博客
				

				

					09-12
					
					7019
					
				

			

		

		

			
				
两台服务器搭建zookeeper集群



ZooKeeper做三节点集群，启动后报错如下：

[root@centos conf]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookee...

			
		

	





	

		

			

				
					
如何安装配置基于两台服务器的MySQL集群

				
			

			

				

					ddnxwnw0091的博客
				

				

					07-24
					
					134
					
				

			

		

		

			
				
这篇文章旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。 　　注意！虽然这是基于2台服务器的MySQL集群，但也必须有额外的第三台服务器作为管理节点，但这台服务器可以在集群启动完成后关闭。同时需要注意的是并不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群，但是这样的架...

			
		

	





	

		

			

				
					
两台服务器做mysql集群_如何安装配置基于两台服务器的MySQL集群

				
			

			

				

					weixin_35427210的博客
				

				

					02-05
					
					243
					
				

			

		

		

			
				
这篇文章旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。注意！虽然这是基于2台服务器的MySQL集群，但也必须有额外的第三台服务器作为管理节点，但这台服务器可以在集群启动完成后关闭。同时需要注意的是并不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群，但是这样的架构，一旦一台服务...

			
		

	





	

		

			

				
					
redis集群2台服务器 (3主3从) 部署

				
			

			

				

					时光钟摆
				

				

					05-09
					
					1694
					
				

			

		

		

			
				
[root@park redis_cluster]# ./redis-trib.rb create --replicas 1 172.16.135.186:7001 172.16.135.186:7002 172.16.135.186:7003 172.16.135.190:7004 172.16.135.190:7005 172.16.135.190:7006
>>> Creating cluster
[ERR] Sorry, can't connect to no...

			
		

	





	

		

			

				
					
mysql服务器集群搭建

				
			

			

				

					weixin_44824330的博客
				

				

					09-13
					
					635
					
				

			

		

		

			
				
1.现有架构存在的一些问题
	1.随着互联网的兴起和发展，当大量请求涌入的时候，也就是高并发，单节点
	的应用服器和单节点mysql数据库服务器,会因为处理速度过慢或者是外界不可抗
	因素导致单节点服务器的宕机，最终致使一个网站
	瘫痪，为解决现有存在的问题，引入集群(cluster)相关概念。	
	2.集群就是指多个服务器去同时去完成同一项工作
	3.怎么解决？
	主从复制，读写分离
主从复制
...

			
		

	





	

		

			

				
					
两台服务器5分钟快速搭建3主3从的redis集群

				
			

			

				

					u011197085的博客
				

				

					04-25
					
					274
					
				

			

		

		

			
				
`10.10.249.50:7001 10.10.249.50:7002 10.10.249.50:7003 10.10.249.51:7004 10.10.249.51:7005 10.10.249.51:7006`参数：指定Redis节点的地址和端口号。其中，`-c`参数表示以集群模式连接，`-p`参数指定连接的端口号，这里以7001为例。- `--cluster-replicas 1`参数：设置每个主节点对应的从节点的数量为1，即每个主节点有一个从节点。# 安装 Redis。

			
		

	





	

		

			

				
					
Redis哨兵集群(两台主机)

				
			

			

				

					korn的博客
				

				

					11-27
					
					2270
					
				

			

		

		

			
				
Redis哨兵集群

			
		

	





	

		

			

				
					
Windows server 2016配置双机集群

				
			

			

				

					lht631935612的博客
				

				

					05-10
					
					1987
					
				

			

		

		

			
				
Windows 2016配置双机集群

			
		

	





	

		

			

				
					
推荐开源项目：KubeFATE - 面向联邦学习的云原生平台

					
最新发布

				
			

			

				

					gitblog_00013的博客
				

				

					05-23
					
					655
					
				

			

		

		

			
				
推荐开源项目：KubeFATE - 面向联邦学习的云原生平台
 KubeFATEManage federated learning workload using cloud native technologies.项目地址:https://gitcode.com/gh_mirrors/ku/KubeFATE 项目介绍
在数据隐私和安全日益重要的今天，联邦学习（Federated Learning）...

			
		

	





	

		

			

				
					
集群--负载调度器的搭建，高可用集群的搭建

				
			

			

				

					Suweika的博客
				

				

					08-24
					
					714
					
				

			

		

		

			
				
定义：一组协同工作的服务

分类：负载均衡集群，高可用集群，高性能运算集群

负载均衡集群（LBC）：

介绍：
将压力分担到不同的工作节点

实现方案：
垂直扩展：把服务器的性能升级，优点是技术实现简单，不需要更改网络拓扑。缺点是是性能提升有限；

水平扩展：增加服务器数量，实现分担访问压力；

老旧的方式是利用DNS轮询把访问量分担到不同服务器，但是用户每次利用DNS以后，都会把第一次访问的DNS载入缓存，无法轮询
	软件级别：利用负载调度器（D）来实现服务器的轮询，LVS，Nginx，Ha-prox.

			
		

	





	

		

			

				
					
KubeFATE: 用云原生技术赋能联邦学习(一)

				
			

			

				

					亨利笔记
				

				

					04-11
					
					1180
					
				

			

		

		

			
				
题图摄于北海公园联邦学习是AI领域一个新兴的方向，被认为是 AI 领域最重要的研究和应用趋势之一。联邦学习可在用户之间进行联合建模，构造精确的人工智能模型，同时数据不用离开机构，可以保...

			
		

	





	

		

			

				
					
两台服务器搭建redis集群

				
			

			

				

					11-15
				

			

		

		

			
				
以下是两台服务器搭建Redis集群的步骤：

1.在两台服务器下的redis安装目录下(/usr/local/redis/)创建redis-cluster目录
```shell
cd /usr/local/redis/
mkdir redis-cluster
```

2.在两台服务器上分别启动6个Redis实例，分别监听不同的端口。例如，第一台服务器上启动3个Redis实例，分别监听7000、7001和7002端口；第二台服务器上启动3个Redis实例，分别监听7003、7004和7005端口。启动Redis实例的命令如下：
```shell
./redis-server redis.conf
```

3.在两台服务器上分别创建Redis集群。在第一台服务器上执行以下命令：
```shell
./redis-cli --cluster create 192.168.1.100:7000 192.168.1.100:7001 192.168.1.100:7002 192.168.1.101:7003 192.168.1.101:7004 192.168.1.101:7005 --cluster-replicas 1
```
其中，192.168.1.100和192.168.1.101分别为两台服务器的IP地址，7000~7005为6个Redis实例的端口号。--cluster-replicas 1表示为每个主节点创建一个从节点。

4.在Redis集群中添加新的节点。如果要添加新的Redis节点，可以执行以下命令：
```shell
./redis-cli --cluster add-node new_node_ip:new_node_port existing_node_ip:existing_node_port
```
其中，new_node_ip和new_node_port为新节点的IP地址和端口号，existing_node_ip和existing_node_port为集群中已存在的节点的IP地址和端口号。



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值