创建集群,管理集群

最新推荐文章于 2023-01-10 09:49:15 发布
最新推荐文章于 2023-01-10 09:49:15 发布
阅读量312 收藏
点赞数
文章标签： linux 创建集群 管理集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45743311/article/details/102582135
版权

1.创建集群
1.1 部署管理主机
- 也可以在任意一台redis服务器上
- 部署ruby脚本运行环境
- 创建管理集群脚本

[student@room9pc01 ~]$ scp /linux-soft/03/redis/redis-3.2.1.gem root@192.168.4.57:/root
[student@room9pc01 ~]$ scp /linux-soft/03/redis/redis-4.0.8.tar.gz root@192.168.4.57:/root

[root@mysql57 ~]# yum -y install rubygems	
[root@mysql57 ~]# gem install redis-3.2.1.gem   

[root@mysql57 ~]# echo $PATH
[root@mysql57 ~]# mkdir /root/bin
[root@mysql57 ~]# tar -xf redis-4.0.8.tar.gz
[root@mysql57 ~]# cd redis-4.0.8/src
[root@mysql57 src]# cp redis-trib.rb /root/bin/
[root@mysql57 src]# chmod +x /root/bin/redis-trib.rb
[root@mysql57 ~]# redis-trib.rb help

1.2 配置redis服务器
- redis集群存取数据工作原理。
当客户端存储数据到集群主机时，获取变量名与CRC16算法做hash计算，然后用计算结果与16384做取余运算，再根据余数值，把数据存储到对应的master 服务器。

[root@mysql51 ~]# vim /etc/redis/6379.conf
	815 cluster-enabled yes					#启用集群功能
	823 cluster-config-file nodes-6379.conf		#存储集群信息文件
	829 cluster-node-timeout 5000				#连接超时时间单位毫秒
:wq

[root@mysql51 ~]# /etc/init.d/redis_6379 stop
[root@mysql51 ~]# rm -rf /var/lib/redis/6379/*
[root@mysql51 ~]# ls /var/lib/redis/6379/
[root@mysql51 ~]# /etc/init.d/redis_6379 start
[root@mysql51 ~]# netstat -ntlup | grep redis-server
tcp        0      0 192.168.4.51:16351      0.0.0.0:*               LISTEN      2404/redis-server 1 
								#集群通信端口默认服务端口+10000
tcp        0      0 192.168.4.51:6351       0.0.0.0:*               LISTEN      2404/redis-server 1 	
[root@mysql51 ~]# cat /var/lib/redis/6379/nodes-6379.conf
[root@mysql51 ~]# redis-cli -h 192.168.4.51 -p 6351
192.168.4.51:6351> CLUSTER INFO			#查看集群信息
	cluster_state:fail
	cluster_known_nodes:1
192.168.4.51:6351> CLUSTER NODES			#查看集群节点信息
	a364e456d9479745e5f7b0250b22bd997168165e :6351@16351 myself,master - 0 0 0 connected

1.3 创建集群

[root@mysql57 ~]# redis-trib.rb create --replicas 1 192.168.4.51:6351 192.168.4.52:6352 				     192.168.4.53:6353 192.168.4.54:6354 192.168.4.55:6355 192.168.4.56:6356		
									#定义每台主库从库个数
[root@mysql51 ~]# redis-cli -h 192.168.4.51 -p 6351
192.168.4.51:6351> CLUSTER INFO
cluster_state:ok
cluster_known_nodes:6

1.4 查看集群
- 在管理主机查看

[root@mysql57 ~]# redis-trib.rb info 192.168.4.51:6351			#查看集群信息
[root@mysql57 ~]# redis-trib.rb check 192.168.4.51:6351			#检查集群主机角色

1.5 访问集群存取数据
命令格式: redis-cli -c -h IP地址 -p 端口 #-c集群模式

[root@mysql50 ~]# redis-cli -c -h 192.168.4.52 -p 6352
192.168.4.52:6352> set name iboy				#存数据
192.168.4.52:6352> set age 19
-> Redirected to slot [741] located at 192.168.4.51:6351	
OK
192.168.4.51:6351> set sex boy
OK
192.168.4.51:6351> set school EDG
-> Redirected to slot [8455] located at 192.168.4.52:6352
OK
192.168.4.52:6352> keys *
1) "name"
2) "school"
192.168.4.52:6352> get age					#取数据
-> Redirected to slot [741] located at 192.168.4.51:6351	
"19"
192.168.4.51:6351> keys *
1) "sex"
2) "age"

2.管理集群
2.1 向集群中添加新主机
2.1.1 添加master角色主机
要求:把Ip192.168.4.58 的redis服务器添加到集群里做主服务器 操作步骤:
1. 运行redis服务且支持集群功能
2.添加master角色的主机(192.168.4.57)
- 添加主机到集群

[root@mysql57 ~]# redis-trib.rb add-node 192.168.4.58:6358 192.168.4.52:6352

  • 分配hash slots 槽

    [root@mysql57 ~]# redis-trib.rb reshard 192.168.4.51:6351  	#重新分片
 How many slots do you want to move (from 1 to 16384)?4096   												#拿出4096个hash 槽给主机192.168.4.58
 What is the receiving node ID?  c5e0da48f335c46a2ec199faa99b830f537dd8a0   
   									#主机192.168.4.58的id值
 Source node #1:all     												#从当前所有master服务器获取hash槽
 Do you want to proceed with the proposed reshard plan (yes/no)?yes 												#同意以上配置

  • 查看集群信息

    [root@mysql57 ~]# redis-trib.rb info 192.168.4.58:6358
[root@mysql57 ~]# redis-trib.rb check 192.168.4.58:6358

  • 访问集群存取数据

    [root@mysql50 ~]# redis-cli -c -h 192.168.4.58 -p 6358

    2.2.2 添加slave角色主机
    要求:把Ip192.168.4.59 的redis服务器添加到集群里做主服务器 操作步骤:
    1. 运行redis服务且支持集群功能
    2.添加slave角色的主机(192.168.4.57)
    命令格式: redis-trib.rb add-node --slave [–master-id id值] IP地址:端口 任意集群IP地址:端口
    #如果不指定主节点的Ip的话,会把新节点随机添加为从节点最少的主库

    [root@mysql57 ~]# redis-trib.rb add-node --slave 192.168.4.59:6359 192.168.4.51:6351

2.2 把主机移除集群
2.2.1 移除slave角色主机(192.168.4.59)
- 从服务器没有hash槽,直接移除即可
- 移除时指定从服务器id值
命令格式:redis-trib.rb del-node 任意集群Ip地址:端口 要移除的id值

[root@mysql57 ~]# redis-trib.rb del-node 192.168.4.52:6352 40a05cae93074408aecb73fdbdec0654a326635d
>>> Removing node 40a05cae93074408aecb73fdbdec0654a326635d from cluster 192.168.4.52:6352
>>> Sending CLUSTER FORGET messages to the cluster...
>>> SHUTDOWN the node. 					#会停止移除主机的redis服务

2.2.2 移除master角色主机(192.168.4.58)
1. 释放占用的hash值

[root@mgm57 ~]# redis-trib.rb  reshard 192.168.4.53:6353
How many slots do you want to move (from 1 to 16384)?4096 
						      	    #移除4096个数槽
What is the receiving node ID?  bc5c4e082a5a3391b634cf433a6486c867cfc44b 
								   #要移动给谁的id即目标主机（这里可以随机写一个master的ID）  
Source node #1: c5e0da48f335c46a2ec199faa99b830f537dd8a0
							       #从谁那移动即源主机（这里写4.58的ID）  
Source node #2: done   		       #设置完毕
...
Do you want to proceed with the proposed reshard plan (yes/no)?yes 		#提交

2.移除主机

[root@mysql57 ~]# redis-trib.rb del-node 192.168.4.53:6353 313684a861610a61ee97af40c920c4b890e45404

2.3 把移除的主机再次添加到集群里(master/slave)

[root@mysql58 ~]# /etc/init.d/redis_6379 start
[root@mysql58 ~]# redis-cli -h 192.168.4.58 -p 6358
192.168.4.58:6358> CLUSTER RESET				#重置集群
192.168.4.58:6358> CLUSTER INFO
cluster_state:fail
192.168.4.58:6358> exit

[root@mysql57 ~]# redis-trib.rb add-node [--slave] 192.168.4.58:6358 192.168.4.55:6355
[root@mysql57 ~]# redis-trib.rb info 192.168.4.55:6355

2.4 让1台主服务有2个从服务(让192.168.4.59做192.168.4.55的从)

[root@mysql59 ~]# /etc/init.d/redis_6379 start
[root@mysql59 ~]# redis-cli -h 192.168.4.59 -p 6359
192.168.4.59:6359> CLUSTER RESET
192.168.4.59:6359> CLUSTER INFO
cluster_state:fail
192.168.4.59:6359> exit

[root@mysql57 ~]# redis-trib.rb add-node --slave --master-id fc6f39badd672c5b79869d813fe10d0858b52833 	192.168.4.59:6359 192.168.4.51:6351
[root@mysql57 ~]# redis-trib.rb info 192.168.4.55:6355
192.168.4.55:6355 (fc6f39ba...) -> 2 keys | 4096 slots | 2 slaves.

2.5 测试

[root@mysql55 ~]# /etc/init.d/redis_6379 stop
[root@mysql57 ~]# redis-trib.rb info 192.168.4.51:6351
192.168.4.51:6351 (a364e456...) -> 2 keys | 4096 slots | 1 slaves.

  1. 还原

    [root@mysql51 ~]# /etc/init.d/redis_6379 stop
[root@mysql51 ~]# rm -rf /var/lib/redis/6379/*

[root@mysql51 ~]# vim /etc/redis/6379.conf 
 #cluster-enabled yes
 #cluster-config-file nodes-6379.conf
 #cluster-node-timeout 5000
[root@mysql51 ~]# /etc/init.d/redis_6379 start
[root@mysql51 ~]# netstat -ntlup | grep redis
tcp        0      0 192.168.4.51:6351       0.0.0.0:*               LISTEN      2564/redis-server 1 

[root@mysql51 ~]# redis-cli  -h 192.168.4.51 -p 6351
192.168.4.51:6351> keys *
(empty list or set)
192.168.4.51:6351> CLUSTER INFO
ERR This instance has cluster support disabled
192.168.4.51:6351>exit
李浩雪
关注
集群的创建
weixin_34261415的博客
01-24 157
在ssh无需密码登录以及jdk、hadoop路径配置好后，我们以master、slave1为例： 配置hadoop集群 一共有7个文件要修改： hadoop-2.6.0/etc/hadoop/hadoop-env.sh hadoop-2.6.0/etc/hadoop/yarn-env.sh hadoop-2.6.0/etc/hadoop/core-site.xml hadoop-2.6...
创建集群 、 管理集群
weixin_44221035的博客
04-24 248
工作原理 案例1：部署redis集群 1.1 问题 具体要求如下： 部署管理主机 创建集群 查看集群信息 访问集群 1.2 方案 搭建redis集群，拓扑规划如图-1所示： IP，端口规划如表-1所示： 步骤一：配置管理主机mgm57 部署ruby脚本运行环境 [root@mgm57 ~]# yum -y install rubygems [root@mgm57 ~]# gem in...
如何创建服务器集群
weixin_34090562的博客
04-10 1718
一个集群 （cluster）指容器运行所需要的云资源组合，关联了若干云服务器节点、负载均衡等云资源。通过多种方式创建一个集群： 方法一：创建一个集群，并同时创建若干个云服务器。您可以通过容器服务直接创建一个包含若干个新云服务器的集群。详细信息参见：创建集群 方法二：创建一个零节点的集群并添加已有的云服务器。创建一个零节点的集群。如果您已经在云服务器 EC...
集群管理
weixin_33836874的博客
05-18 205
2019独角兽企业重金招聘Python工程师标准>>> ...
Docker集群的创建与管理实例详解
09-30
集群管理器提供了多种策略来优化容器的分布和负载平衡，例如“emptiest node”策略会将新容器分配给当前空闲最多的节点，而“global”策略则确保每个节点都运行一个特定的容器实例。这些策略可以通过Docker Compose...
ankush:创建和管理不同技术的集群的大数据集群管理工具
06-11
一种大数据集群管理工具，用于创建和管理不同技术的集群。 它提供有关集群健康状况的可视化、图形化和电子邮件通知，允许集群管理员采取明智的行动。 支持的操作系统 Ubuntu 服务器 64 位 (12.04) CentOS 服务器 64...
Java基于elasticsearch实现集群管理
08-25
Java基于Elasticsearch实现集群管理 Elasticsearch是一款功能强大且流行的搜索引擎，广泛应用于大数据搜索、日志分析、商业智能等领域。Java作为一种广泛使用的编程语言，经常与Elasticsearch集成以实现搜索、数据...
使用ThinkSystemDM系列存储管理软件进行集群管理的工作流程
最新发布
07-21
在设置集群时，需要创建集群、设置网络、设置支持页面等多个步骤。 三、设置网络 设置网络是使用ThinkSystem DM系列存储管理软件进行集群管理的重要一步骤。可以创建VLAN接口、创建接口组、创建广播域、创建子网、...
如何建立集群？
yw_2022的博客
02-02 3228
如何建立集群？
创建集群和索引
qq_41100433的博客
06-06 464
1.集群健康度查询为了检查集群健康状况，我们将使用_cat API。您可以在Kibana的控制台中运行命令GET /_cat/health?v，结果如图其中关于kibana的安装，首先进入elastic官网下载https://www.elastic.co/products/kibana访问端口是localhost:5601...
redis集群创建
qq_15744975的博客
01-08 772
redis集群的搭建与简单实用 1. 准备两台服务器模拟6个节点，搭建redis集群，每台服务器有三个节点，创建3主3从环境。 2.实用yum方式进行安装 yum install redis 3.将 redis-trib.rb 复制到 /usr/local/bin 目录下 cp redis-trib.rb /usr/local/bin/ 4.创建 Redis 节点，在/etc下创建redi
kubeadm创建集群
szuhuanggang的博客
04-22 585
参考： https://kubernetes.io/zh/docs/reference/setup-tools/kubeadm/kubeadm/ https://docs.projectcalico.org/v3.6/getting-started/kubernetes/ Kubeadm 是一个工具，它提供了kubeadm init以及kubeadm join这两个命令作为快速...
快速建立一个简单的集群
AnitaSun的博客
10-29 244
启动mongo shellmongo --nodb 使用Sharding Test类创建集群 这个命令会创建一个包含3个分片的集群cluster=new ShardingTets({"shards": 3, "chunksize": 1}) 查看这三个集群和mongos的端口号，在输完上面那条命令之后下面可以找到 再打开一个shell用来连接到集群的mongos 运行sh.status()可以看到集群的状态 对某个集合启用分片 在希望作为片键的键上创建索引 依据"username"对集合.
Docker-Swarm集群管理
BASK2311的博客
01-10 4178
Docker Swarm是Docker的集群管理工具，它提供了标准的Docker API，所有任何已经与Docker守护程序通信的工具都可以使用Swarm轻松地扩展到多个主机。支持的工具包括Dokku、Docker Compose、Docker Machine和Jenkins等。compose、machine 和 swarm 是docker 原生提供的三大编排工具，简称docker三剑客。其官网地址复制代码Docker Swarm 和 Docker Compose。
新手搭建高可用集群，管理集群
05-22 292
集群管理高可用(HA) 一台物理机192.168.0.1两台节点机192.168.0.103 192.168.0.100 需要保证：Networkanager关闭， 火墙关闭，selinux可以开启， 时间同步 物理机配置ntp服务器：vim /etc/ntp.conf 添加： ...
如何科学的管理集群
Yonx
09-07 283
一、监控 主要包括故障监控和性能、流量、负载等状态监控，这些监控关系到集群的健康运行，及潜在问题的及时发现与干预； a、服务故障、状态监控：主要是对服务器自身、上层应用、关联服务数据交互监控；例如针对前端web server，我们就可以有很多种类型的监控，包括应用端口状态监控，便于及时发现服务器或应用本身是否crash、通过icmp包探测服务器健康状态，更上层可能还包括应用各频道业务的监控，常用方法是采用面业特征码进行判断，或对重点页面进行签名，以网站被黑篡改（报警、并自动恢复被篡改数据）等等， 这些只
各节点集群方案
yuhui666666的博客
02-23 182
  各节点集群方案整理：     集群软件是分发（监听自动移除转发节点（主节点）），主从切换时其他集群的软件中的设置决定 哨兵既可以监听主，也可以监听备 http://blog.csdn.net/candy_rainbow/article/details/52842402 ，哨兵模式说白了就是将反客为主的一些列动作自动化，他会在后台有一个监控，监控当前的主机，巡逻主机下面的从机，...
Facebook的Twine：统一集群管理系统
"Facebook Twine集群管理系统" Facebook的Twine是一个统一的集群管理系统，设计用于处理其全球数据中心共享基础设施的需求。这个系统旨在优化资源利用率、提高效率，并为Facebook的各种服务（如Web缓存、广告、搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值