Linux is not Matrix——redis集群搭建

最新推荐文章于 2022-09-11 21:24:00 发布
最新推荐文章于 2022-09-11 21:24:00 发布
阅读量717 收藏
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010092167/article/details/51253610
版权

  redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

  然而上面写的那些东西都是从百度百科抄来的- -。

  总结一下就是，redis是一个Key value型的数据库，所有redis的数据全都存在服务器的内存中，类似于memcache，并且支持更多的数据类型，目前官方已经推出了集群搭建方案。

  好，之前一直都有人跟我要这玩意，我就写写了。

  首先上redis的官方网站下载最新的redis源码包，一定是3.0之后的，因为是这个版本加入的集群功能。

  wget http://download.redis.io/releases/redis-3.0.7.tar.gz

 
  解压，tar命令，我就不写了。 

 

  然后我们先安装编译需要的gcc，然后执行编译。
 

  yum install gcc
 

 
  直接使用make && make install编译可能会报这个错误。 

 

  zmalloc.h:50:31: 错误：jemalloc/jemalloc.h：没有那个文件或目录    
 

  zmalloc.h:55:2: 错误：#error "Newer version of jemalloc required"
 

  这个时候我们需要执行别的编译命令。
 

  Make MALLOC=libc
 

 
  执行完成之后，我们就可以先启动一下redis试试了，进入src目录，直接执行./redis-server就可以了。 

 

  如果看到下面这个就算是启动成功了。
 

 

  成功了之后，可以看到我们的启动端口是6379，这个是可以通过指定配置文件来修改的，我们就来制定以下集群需要的配置文件。
 

  在src目录下就可以，新建一个文件交redis.conf，文件内容写成这个样。
 

 

port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

 
  这里就是一些搭建集群的基本设定，而且我将端口改成了7000。 

 

  好了，现在我们缺的就是6个同样的redis服务了，官方给的方案中推荐需要六个redis才能组成集群，三主三从，redis集群采用了数据分片的技术，节点 A 包含 0 到 5500号哈希槽，节点 B 包含5501 到 11000 号哈希槽，节点 C 包含11001 到 16384号哈希槽。如果节点B机器瘫了的话，那么5501到11000号槽位都不可用，也就是这些数据都没了，所以才有了三个从节点，这个时候如果B瘫了，B的从节点将会继续提供服务。
 

  我这里采用的6个虚拟机来模拟一下。
 

  假设我现在6个虚拟机的IP是179到184。我在每个虚拟机上都复制了一份刚才那种设定的配置文件和编译完成之后的文件，并且6个虚拟机互相之间能通信。
 

  创建集群。
 

 

./redis-trib.rb create --replicas 1 192.168.21.179:7000 192.168.21.180:7000 192.168.21.181:7000 192.168.21.182:7000 192.168.21.183:7000 192.168.21.184:7000
 
 后面会显示一大堆信息，大概就是创建集群的一些信息。 

 

>>> Creating cluster
 Connecting to node 192.168.21.179:7000: OK
 Connecting to node 192.168.21.180:7000: OK
 Connecting to node 192.168.21.181:7000: OK
 Connecting to node 192.168.21.182:7000: OK
 Connecting to node 192.168.21.183:7000: OK
 Connecting to node 192.168.21.184:7000: OK
 >>> Performing hash slots allocation on 6 nodes...
 Using 3 masters:
 192.168.21.179:7000
 192.168.21.180:7000
 192.168.21.181:7000
 Adding replica 192.168.21.182:7000 to 192.168.21.179:7000
 Adding replica 192.168.21.183:7000 to 192.168.21.180:7000
 Adding replica 192.168.21.184:7000 to 192.168.21.181:7000
 M: 254696f3918c6edaf71791e9afc1238f9fdd6c5a 192.168.21.179:7000
    slots:0-5460 (5461 slots) master
 M: 937d2a1d9c6413766822681f39a752325a0fe5d8 192.168.21.180:7000
    slots:5461-10922 (5462 slots) master
 M: 98cded3e87343076df271b3900eb227e3e68219d 192.168.21.181:7000
    slots:10923-16383 (5461 slots) master
 S: b0785ca5d6d2d6bf0be5557ec699027d7d728141 192.168.21.182:7000
    replicates 254696f3918c6edaf71791e9afc1238f9fdd6c5a
 S: 447340503107c902c0fb0759835600323b3b7d67 192.168.21.183:7000
    replicates 937d2a1d9c6413766822681f39a752325a0fe5d8
 S: 83a9baf65210cae50a381bade28681c13e777d09 192.168.21.184:7000
    replicates 98cded3e87343076df271b3900eb227e3e68219d
 Can I set the above configuration? (type 'yes' to accept): yes
 >>> Nodes configuration updated
 >>> Assign a different config epoch to each node
 2695:M 08 Dec 22:16:55.119 # configEpoch set to 1 via CLUSTER SET-CONFIG-EPOCH
 >>> Sending CLUSTER MEET messages to join the cluster
 2695:M 08 Dec 22:16:55.174 # IP address for this node updated to 192.168.21.179
 Waiting for the cluster to join....2695:M 08 Dec 22:17:00.134 # Cluster state changed: ok
 
 
 >>> Performing Cluster Check (using node 192.168.21.179:7000)
 M: 254696f3918c6edaf71791e9afc1238f9fdd6c5a 192.168.21.179:7000
    slots:0-5460 (5461 slots) master
 M: 937d2a1d9c6413766822681f39a752325a0fe5d8 192.168.21.180:7000
    slots:5461-10922 (5462 slots) master
 M: 98cded3e87343076df271b3900eb227e3e68219d 192.168.21.181:7000
    slots:10923-16383 (5461 slots) master
 M: b0785ca5d6d2d6bf0be5557ec699027d7d728141 192.168.21.182:7000
    slots: (0 slots) master
    replicates 254696f3918c6edaf71791e9afc1238f9fdd6c5a
 M: 447340503107c902c0fb0759835600323b3b7d67 192.168.21.183:7000
    slots: (0 slots) master
    replicates 937d2a1d9c6413766822681f39a752325a0fe5d8
 M: 83a9baf65210cae50a381bade28681c13e777d09 192.168.21.184:7000
    slots: (0 slots) master
    replicates 98cded3e87343076df271b3900eb227e3e68219d
 [OK] All nodes agree about slots configuration.
 >>> Check for open slots...
 >>> Check slots coverage...
 [OK] All 16384 slots covered.
 [root@localhost cluster-test]# 2695:M 08 Dec 22:17:02.247 * Slave 192.168.21.182:7000 asks for synchronization
 2695:M 08 Dec 22:17:02.247 * Full resync requested by slave 192.168.21.182:7000
 2695:M 08 Dec 22:17:02.247 * Starting BGSAVE for SYNC with target: disk
 2695:M 08 Dec 22:17:02.247 * Background saving started by pid 2701
 2701:C 08 Dec 22:17:02.249 * DB saved on disk
 2701:C 08 Dec 22:17:02.250 * RDB: 0 MB of memory used by copy-on-write
 2695:M 08 Dec 22:17:02.339 * Background saving terminated with success
 2695:M 08 Dec 22:17:02.340 * Synchronization with slave 192.168.21.182:7000 succeeded
   出现这个就表示集群创建成功了。我们可以使用redis-cli来连接一下集群中的一个主节点来测试一下。
 

 

./redis-cli -c -h 192.168.21.179 -p 7000

192.168.21.179:7000> set foo bar
-> Redirected to slot [12182] located at 192.168.21.181:7000
OK
192.168.21.181:7000> set hello world
-> Redirected to slot [866] located at 192.168.21.179:7000
OK
192.168.21.179:7000> set key value
-> Redirected to slot [12539] located at 192.168.21.181:7000
OK
192.168.21.181:7000> set kuro sesei
-> Redirected to slot [1863] located at 192.168.21.179:7000
OK
192.168.21.179:7000> get hello
"world"
192.168.21.179:7000> get foo
-> Redirected to slot [12182] located at 192.168.21.181:7000
"bar"

 
  好了，这样看起来，我们从179set一个数据，他会使用哈希算法放到181上面，这个时候如果我们关闭181，那么181的从节点将会代替181成为主节点，get数据也会get到。
   that's all 


                

        

        

    

  


    

      

        

            

              
                
                  Rephilo
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Redis集群创建

				
			

			

				

					hsgao_water的博客
				

				

					07-21
					
					807
					
				

			

		

		

			
				
经过半个月的学习，自己总结了下Redis集群创建，以及相关的节点操作

因为这里主要使用redis-cluster的命令，所以选择redis5.0以上版本（5.0以下版本有些redis-cluster命令不支持，需要redis-ruby工具的支持）。

准备工作

下载redis5.0以上版本

解压

tar –zxvf redis-5.0.5.tar.gz

编译redis

cd redis...

			
		

	



                

              
                



	

		

			

				
					
Linux搭建redis集群

				
			

			

				

					Guozr7的博客
				

				

					11-26
					
					1769
					
				

			

		

		

			
				
搭建redis集群

			
		

	



                


  
              

                


	

		

			

				
					
Redis【有与无】【AC2】Redis 安装、配置、集群搭建

				
			

			

				

					琴韵悠悠
				

				

					12-19
					
					837
					
				

			

		

		

			
				
本文章基于Redis 6.0.9版本，对Redis配置进行说明



序：

AC：ActualCombat 实战
	系统版本：CentOS 8.3
	Redis版本：Redis 6.0.9


1.准备阶段

从Redis官网上下载最新的安装包（.tar.gz），目前是6.0.9，得到的压缩文件为 redis-6.0.9.tar.gz



2.安装阶段


cd /opt
# 将压缩文件放到目录/opt下
# 解压
tar -zxvf redis-6.0.9.tar.gz

# 重命名文件
m...

			
		

	





	

		

			

				
					
redis cluster info显示cluster_state:fail解决方案

					
热门推荐

				
			

			

				

					zsx18273117003的博客
				

				

					10-26
					
					1万+
					
				

			

		

		

			
				
1、查看错误信息：

1.1 错误信息(1)


127.0.0.1:7000> get name
(error) CLUSTERDOWN The cluster is down
127.0.0.1:7000> cluster info
cluster_state:fail
cluster_slots_assigned:16380
cluster_slots_ok:16380
clus...

			
		

	



		

			
		



	

		

			

				
					
Redis Cluster集群特性验证

				
			

			

				

					雪辉博客
				

				

					08-26
					
					1034
					
				

			

		

		

			
				
文章目录Redis Cluster集群特性验证一、故障转移验证二、集群fail认定验证三、主节点保护验证四、总结4.1 主节点保护4.2 集群fail条件4.3 集群故障转移
Redis Cluster集群特性验证
  在之前的文章(https://yq.aliyun.com/articles/711825?spm=a2c4e.11155435.0.0.1cd03312XDrTxu)中，对Redi...

			
		

	





	

		

			

				
					
Redis集群管理之Redis Cluster集群节点增减

				
			

			

				

					风的脚步
				

				

					02-29
					
					3659
					
				

			

		

		

			
				
上一篇说明了基于Redis Cluster搭建Redis集群的过程，下面继续说明下Redis集群中node增减过程。

			
		

	





	

		

			

				
					
Linux中使用Docker搭建Redis集群

				
			

			

				

					01-07
				

			

		

		

			
				
使用host网络进行搭建集群 docker的网络类型 docker的网络类型有： None:不为容器配置任何网络功能，没有网络 –net=none Container:与另一个运行中的容器共享Network Namespace，–net=container:containerID Host:...

			
		

	





	

		

			

				
					
Linux下Redis集群 搭建教程

				
			

			

				

					01-29
				

			

		

		

			
				
在开始搭建集群之前，需要安装Redis和Ruby。Redis是nosql数据库管理系统，而Ruby是脚本语言，用于执行redis-trib.rb脚本，来创建和管理Redis集群。  二、安装Redis  首先，需要安装Redis。可以使用yum install redis...

			
		

	





	

		

			

				
					
Redis集群搭建

				
			

			

				

					01-20
				

			

		

		

			
				
Redis集群搭建 在Centos7.5上多台宿主机使用docker部署redis集群的过程，redis集群一般需要6台redis服务器,使用docker可以节省服务器资源，除开放主从6379和6380端口外还得开放集群总线端口，集群总线端口为redis...

			
		

	





	

		

			

				
					
深入理解Redis Cluster

				
			

			

				

					daobuxinzi的博客
				

				

					09-11
					
					276
					
				

			

		

		

			
				
只有持有槽的主节点才会处理故障选举消息（FAILOVER_AUTH_REQUEST），因为每个持有槽的节点在一个配置纪元内都有唯一的一张选票，当接到第一个请求投票的从节点消息时回复FAILOVER_AUTH_ACK消息作为投票，之后相同配置纪元内其他从节点的选举消息将忽略。故障节点变为客观下线后，如果下线节点是持有槽的主节点则需要在它的从节点中选出一个替换它，从而保证集群的高可用。下线主节点的所有从节点承担故障恢复的义务，当从节点通过内部定时任务发现自身复制的主节点进入客观下线时，将会触发故障切换流程。

			
		

	





	

		

			

				
					
分布式Redis中集群中（cluster_state:fail），什么时候整个集群不可用了

				
			

			

				

					John西西的Tech世界
				

				

					01-07
					
					1万+
					
				

			

		

		

			
				
a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态.
 ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.
    b:如果集群超过半数以上master挂掉，无论是否有slave集群进入fail

			
		

	





	

		

			

				
					
Redis6.0集群安装部署

				
			

			

				

					薄刀刀的技术博客
				

				

					04-29
					
					2244
					
				

			

		

		

			
				
Redis6.0集群安装部署

{redis cluster搭建 redis集群搭建 redis主从 }

create-time:2022-04-26

通过本文章你可以动手学会如何搭建redis-cluster



前言

redis集群化部署主要用于大型缓存架构，一般的小型架构，使用redis主从配置 + sentinel哨兵集群应付系统压力，

使用redis集群可以方便快捷地对集群进行动态扩容，动态的添加、删除节点，reshard、并带有自动故障恢复功能。

一般redis集群使用三主三从...

			
		

	





	

		

			

				
					
Redis5.0集群搭建（Redis Cluster）

				
			

			

				

					Lyndon的专栏
				

				

					09-01
					
					1万+
					
				

			

		

		

			
				
Redis5.0集群搭建RedisCluster

			
		

	





	

		

			

				
					
【Redis】Redis-Cluster集群配置搭建

				
			

			

				

					实施工程师从入门到放弃
				

				

					03-24
					
					831
					
				

			

		

		

			
				
Redis常见集群有两种，一种是哨兵，一种是cluster集群
一番搜索得知，哨兵不易扩容，且至少需要双哨兵；所以本例采用官方推荐的cluster模式。

			
		

	





	

		

			

				
					
慢查询引起的redis-clusterdown

				
			

			

				

					weixin_34175509的博客
				

				

					11-26
					
					275
					
				

			

		

		

			
				
一、现象

  1. 报警：我们的redis私有云有几百个redis实例，对于每个实例的存活，都有定时任务会每隔5分钟，重试多次ping命令去检查它的存活性，比如多次都ping不通，这时候就会收到报警短信：xxx系统-实例(10.10.xx.xx:xxxx)-由运行中变为心跳停止。这时候我就会去线上看一下出现了哪些问题。
 
...

			
		

	





	

		

			

				
					
Redis集群之Redis-Cluster实践详解

				
			

			

				

					小小默：进无止境
				

				

					11-18
					
					3916
					
				

			

		

		

			
				
Redis Cluster 官网地址：https://redis.io/topics/cluster-tutorial  。 本篇博文背景使用Redis 5.X，低版本的可能不太适用，具体参考官网。
【1】基础入门
Redis Cluster集群保证高可用但是不支持强一致性，具有自动切分数据集到多个节点上的能力，当部分节点宕机或无法通讯的情况下仍可继续处理命令。但是如果大部分节点挂掉，那么该集群就...

			
		

	





	

		

			

				
					
Redis集群丢数据问题——机器宕机没有自动切库，手动takeover后，老主库重启又抢回master

				
			

			

				

					耕云者~
				

				

					05-17
					
					1412
					
				

			

		

		

			
				
文章目录背景事故描述问题分析日志记录关键日志疑惑与猜测原因排查查看资料集群间通信手动故障转移配置纪元的主要作用:同版本集群测试准备测试流程日志分析根据日志查看源码逻辑has old slots configurationis back online网络问题确认异常信息信息确认集群间通信问题排查通信端口连接情况抓包确认之前疑惑的解答总结后续操作急救措施反思改进措施
背景
机器发生了宕机，查看后发现有个节点没有自动切库成功，为了保证集群对外能正常服务，所以决定手动强制切库，保证集群对外的可用性。
事故描述
先使

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 8

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值