redis集群 redis-cluster

最新推荐文章于 2024-08-06 14:58:09 发布
最新推荐文章于 2024-08-06 14:58:09 发布
阅读量254 收藏 1
点赞数
分类专栏： 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyb_Night/article/details/80375587
版权
什么是Redis-Cluster?

        为何要搭建Redis 集群。Redis 是在内存中保存数据的，而我们的电脑一般内存都不大，这也就意味着Redis 不适合存储大数据，适合存储大数据的是Hadoop 生态系统的Hbase 或者是MogoDB。Redis 更适合处理高并发，一台设备的存储能力是很限的，但是多台设备协同合作，就可以让内存增大很多倍，这就需要用到集群。

        Redis 集群搭建的方式有多种，例如使用客户端分片、Twemproxy、Codis 等，但从
redis 3.0 之后版本支持redis-cluster 集群， 它是Redis 官方提出的解决方案，
Redis-Cluster 采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所

有节点连接。其redis-cluster 架构图如下：

        

架构细节:
（1）所有的redis 节点彼此互联(PING-PONG 机制),内部使用二进制协议优化传输速度和带
宽.

（2）节点的fail 是通过集群中超过半数的节点检测失效时才生效.

（3）客户端与redis 节点直连,不需要中间proxy 层.客户端不需要连接集群所有节点,连接

集群中任何一个可用节点即可

理解分布存储机制-槽
（1）redis-cluster 把所有的物理节点映射到[0-16383]slot 上,cluster 负责维护
node<->slot<->value
（2）Redis 集群中内置了16384 个哈希槽，当需要在Redis 集群中放置一个key-value 时，
redis 先对key 使用crc16 算法算出一个结果，然后把结果对16384 求余数，这样每个key
都会对应一个编号在0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映
射到不同的节点。

（1）选举过程是集群中所有master 参与,如果半数以上master 节点与故障节点通信超过(cluster-node-timeout),认为该节点故障，自动触发故障转移操作.
（2）什么时候整个集群不可用(cluster_state:fail)?
    a: 如果集群任意master 挂掉,且当前master 没有slave.集群进入fail 状态,也可以理解成集群的slot 映射[0-16383]不完成时进入fail 状态.
    b: 如果集群超过半数以上master 挂掉，无论是否有slave 集群进入fail 状态.


搭建redis-cluster
搭建要求

需要6 台redis 服务器。搭建伪集群。
需要6 个redis 实例。
需要运行在不同的端口7001-7006

 准备工作

（1）安装gcc 【此步省略】

Redis 是c 语言开发的。安装redis 需要c 语言的编译环境。如果没有gcc 需要在线安装。

yum install gcc-c++

（2）使用yum 命令安装ruby （我们需要使用ruby 脚本来实现集群搭建）【此步省略】

yum install ruby
yum install rubygems
（3）将redis 源码包上传到linux 系统，解压redis 源码包
（4）编译redis 源码，进入redis 源码文件夹 
make
看到以下输出结果，表示编译成功


（5）创建目录/usr/local/redis-cluster 目录， 安装6 个redis 实例，分别安装在以下目录

/usr/local/redis-cluster/redis-1
/usr/local/redis-cluster/redis-2
/usr/local/redis-cluster/redis-3
/usr/local/redis-cluster/redis-4
/usr/local/redis-cluster/redis-5
/usr/local/redis-cluster/redis-6

以第一个redis 实例为例，命令如下

make install PREFIX=/usr/local/redis-cluster/redis-1

出现此提示表示成功，按此方法安装其余5 个redis 实例

（5）复制配置文件将/redis-3.0.0/redis.conf 复制到redis 下的bin 目录下

[root@localhost redis-3.0.0]# cp redis.conf /usr/local/redis-cluster/redis-1/bin
[root@localhost redis-3.0.0]# cp redis.conf /usr/local/redis-cluster/redis-2/bin
[root@localhost redis-3.0.0]# cp redis.conf /usr/local/redis-cluster/redis-3/bin
[root@localhost redis-3.0.0]# cp redis.conf /usr/local/redis-cluster/redis-4/bin
[root@localhost redis-3.0.0]# cp redis.conf /usr/local/redis-cluster/redis-5/bin
[root@localhost redis-3.0.0]# cp redis.conf /usr/local/redis-cluster/redis-6/bin
配置集群

（1）修改配置文件

修改运行端口为7001 （7002 7003 .....）


将cluster-enabled yes 前的注释去掉


（2）启动每个redis 实例

以第一个实例为例，命令如下(可以设置为后台启动)

cd /usr/local/redis-cluster/redis-1/bin/

./redis-server redis.conf

把其余的5 个也启动起来，然后查看一下是不是都启动起来了

[root@localhost ~]# ps -ef | grep redis
root 15776 15775 0 08:19 pts/1 00:00:00 ./redis-server *:7001 [cluster]
root 15810 15784 0 08:22 pts/2 00:00:00 ./redis-server *:7002 [cluster]
root 15831 15813 0 08:23 pts/3 00:00:00 ./redis-server *:7003 [cluster]
root 15852 15834 0 08:23 pts/4 00:00:00 ./redis-server *:7004 [cluster]
root 15872 15856 0 08:24 pts/5 00:00:00 ./redis-server *:7005 [cluster]
root 15891 15875 0 08:24 pts/6 00:00:00 ./redis-server *:7006 [cluster]
root 15926 15895 0 08:24 pts/7 00:00:00 grep redis

（3）上传redis-3.0.0.gem ，安装ruby 用于搭建redis 集群的脚本。

（4）使用ruby 脚本搭建集群。

进入

./redis-trib.rb create --replicas 1 192.168.25.135:7001 192.168.25.135:7002 192.168.25.135:7003
192.168.25.135:7004 192.168.25.135:7005 192.168.25.135:7006

出现下列提示信息


连接redis-cluster

客户端工具连接

Redis-cli 连接集群。

redis-cli -p 7004 -c

-c：代表连接的是redis 集群

测试:


SpringDataRedis 连接

（1）创建SpringDataRedis-ClusterDemo 工程引入依赖

  <!-- 集中定义依赖版本号-->
	<properties>
		<spring.version>4.2.4.RELEASE</spring.version>
	</properties>
 	<dependencies>
		<!-- Spring -->
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-context</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-beans</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-webmvc</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-jdbc</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-aspects</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-jms</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-context-support</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-test</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.9</version>
		</dependency>
		<!-- 缓存-->
		<dependency>
			<groupId>redis.clients</groupId>
			<artifactId>jedis</artifactId>
			<version>2.8.1</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.data</groupId>
			<artifactId>spring-data-redis</artifactId>
			<version>1.7.2.RELEASE</version>
		</dependency>
	</dependencies>
	<build>
		<plugins>
			<!-- java 编译插件-->
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>3.2</version>
				<configuration>
				<source>1.7</source>
				<target>1.7</target>
				<encoding>UTF-8</encoding>
				</configuration>
			</plugin>
		</plugins>
	</build>

添加spring 配置文件

applicationContext-redis-cluster.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xmlns:p="http://www.springframework.org/schema/p"
	xmlns:context="http://www.springframework.org/schema/context"
	xsi:schemaLocation="http://www.springframework.org/schema/beans
						http://www.springframework.org/schema/beans/spring-beans.xsd
						http://www.springframework.org/schema/context
						http://www.springframework.org/schema/context/spring-context.xsd">
<!-- 加载配置属性文件-->
<context:property-placeholder ignore-unresolvable="true" location="classpath:properties/redis-cluster-config.properties" />

	<bean id="redis-clusterConfiguration" class="org.springframework.data.redis.connection.redis-clusterConfiguration">
		<property name="maxRedirects" value="${redis.maxRedirects}"></property>
			<property name="clusterNodes">
				  <set>
						<bean class="org.springframework.data.redis.connection.redis-clusterNode">
							<constructor-arg name="host" value="${redis.host1}"></constructor-arg>
							<constructor-arg name="port" value="${redis.port1}"></constructor-arg>
						</bean>
						<bean class="org.springframework.data.redis.connection.redis-clusterNode">
							<constructor-arg name="host" value="${redis.host2}"></constructor-arg>
							<constructor-arg name="port" value="${redis.port2}"></constructor-arg>
						</bean>
						<bean class="org.springframework.data.redis.connection.redis-clusterNode">
							<constructor-arg name="host" value="${redis.host3}"></constructor-arg>
							<constructor-arg name="port" value="${redis.port3}"></constructor-arg>
						</bean>
						<bean class="org.springframework.data.redis.connection.redis-clusterNode">
							<constructor-arg name="host" value="${redis.host4}"></constructor-arg>
							<constructor-arg name="port" value="${redis.port4}"></constructor-arg>
						</bean>
						<bean class="org.springframework.data.redis.connection.redis-clusterNode">
							<constructor-arg name="host" value="${redis.host5}"></constructor-arg>
							<constructor-arg name="port" value="${redis.port5}"></constructor-arg>
						</bean>
						<bean class="org.springframework.data.redis.connection.redis-clusterNode">
							<constructor-arg name="host" value="${redis.host6}"></constructor-arg>
							<constructor-arg name="port" value="${redis.port6}"></constructor-arg>
						</bean>
				</set>
		</property>
	</bean>
	<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
		<property name="maxIdle" value="${redis.maxIdle}" />
		<property name="maxTotal" value="${redis.maxTotal}" />
	</bean>
	<bean id="jeidsConnectionFactory" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory" >
		<constructor-arg ref="redis-clusterConfiguration" />
		<constructor-arg ref="jedisPoolConfig" />
	</bean>
	<bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate">
		<property name="connectionFactory" ref="jeidsConnectionFactory" />
	</bean>
</beans>

（4）编写测试类，测试值的存取

@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(locations="classpath:spring/applicationContext-redis-cluster.
xml")
public class TestSet {
@Autowired
private RedisTemplate<String,String> redisTemplate;
@Test
public void testSetValue(){
redisTemplate.boundSetOps("nameset").add("liming");
redisTemplate.boundSetOps("nameset").add("liuhu");
redisTemplate.boundSetOps("nameset").add("zhoujian");
}
@Test
public void testGetValue(){
Set<String> members = redisTemplate.boundSetOps("nameset").members();
System.out.println(members);
}
}















漆黑的夜II
关注
专栏目录
【Redis】Cluster-集群
Just do it!
07-16 477
简介   在生产环境中，我们希望Redis可以支持以下特性： 高可用：时刻保证Redis服务可用，降低单节点宕机带来的损失 可拓展：随着数据的增多，可以通过简单的增加节点来实现横向扩展   Redis的主从复制与Sentinel相结合可以实现高可用，解决了扩展读的问题，但仍然是一个单实例Redis，没有解决扩展写问题，Redis Cluster便是官方给出的解决方案。 原理   Re...
Redis Cluster集群
liben0429的博客
01-18 331
一、redis-cluster设计Redis集群搭建的方式有多种，例如使用zookeeper等，但从redis 3.0之后版本支持redis-cluster集群，Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。其redis-cluster架构图如下：Cluster集群的搭建与实践一" src="http://img.blog.csdn.net
Redis：集群（cluster）
最新发布
2301_79526467的博客
08-06 2325
1. 简介 2. 作用 3. 集群算法 　 3.1 槽位（slot） 　 3.2 分片 　 3.3 优点 4. 三种槽位（slot）映射 　 4.1 哈希取余分区 　 4.2 一致性哈希算法分区 　　 4.2.1 简介 　　 4.2.2 构建步骤 　　 4.2.3 总结 　 4.3 哈希槽分区 　　 4.3.1 简介 　　 4.3.3 哈希槽计算 5. 面试题
Redis——cluster集群
热门推荐
FlyLikeButterfly的博客
11-04 1万+
redis集群配置
redis-cluster-operator:Redis Cluster Operator在Kubernetes上创建和管理Redis集群
05-03
redis-cluster-operator 概述 Redis Cluster Operator在Kubernetes上管理 。 操作员本身是用。 每个主节点及其从节点都由statefulSet管理，为每个statefulSet创建一个无头svc，并为所有节点创建clusterIP服务。 ...
redis-py-cluster:官方redis集群的Python集群客户端。 Redis 3.0+
04-28
该客户端提供了Redis 3.0中添加的Redis集群客户端。 该项目是antirez的redis-rb-cluster的移植版，具有许多附加功能。 原始资源可以在找到 分支master将始终包含已从Pull Requests中合并的最新不稳定/开发代码。 ...
redis-cluster-proxy:Redis集群的代理
05-04
Redis集群代理 Redis的集群代理适用代理集群。 Redis可以在集群模式下运行，在该模式下，一组Redis实例将负责故障转移和分区。 这种特殊模式需要使用了解群集协议的特殊客户端：通过使用此代理，可以将群集抽象化，...
tomcat-cluster-redis-session-manager:Tomcat集群Redis会话管理器Java客户端
05-11
Tomcat集群Redis会话管理器 Redis会话管理器是可插入的。 它将会话存储到Redis中，以便在Tomcat服务器群集之间轻松分配HTTP请求。 在这里，会话被实现为非粘性的（意味着，每个请求都可以转到集群中的任何服务器，...
PyPI 官网下载 | redis-py-cluster-1.1.0.tar.gz
02-11
在这个例子中，我们首先导入了`RedisCluster`，然后创建了一个连接对象，指定了Redis集群的一个节点（主机和端口）。`decode_responses=True`参数意味着响应将被自动解码为Unicode字符串。 Redis-Py-Cluster支持的...
Redis-Cluster集群
shuanglongman5531的博客
10-19 3520
Redis-Cluster集群 Redis-Cluster集群简介 一、Redis-Cluster集群介绍 1、redis cluster集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。 2、Redis cluster集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点。 3、高达 1000 个节点的高性能和线性可扩展性。没有代理，使用异步复制，并且不对值执行合并操作。 二、为何使用Redis-.
redis-cluster集群
ys_3203527193的博客
06-09 864
2018年十月 Redis 发布了稳定版本的 5.0 版本，推出了各种新特性，其中一点是放弃 Ruby的集群方式，改为使用 C语言编写的 redis-cli的方式，是集群的构建方式复杂度大大降低。在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般，特别是在主从切换的瞬间存在访问瞬断的情况，而且哨兵模式只有一个主节点对外提供服务
redis-集群（cluster）
qq_42418169的博客
02-07 1578
集群什么是集群结构？集群的作用集群内部的储存设计 什么是集群结构？ 集群就是使用网络将若干台计算机联通起来，并提供统一的管理方式，使其对外呈现单机的服务效果 集群的作用 分散单台服务器的访问压力， 实现负载均衡分散单台服务器的存储压力， 实现可扩展性降低单台服务器宕机带来的业务灾难 集群内部的储存设计 ...
Redis 集群（cluster）
dylan_2017的博客
03-08 1232
由于数据量过大，单个Master复制集难以承担，因此需要对多个复制集进行集群，形成水平扩展每个复制集只负责存储整个数据集的一部分，这就是Redis集群，其作用是提供在多个Redis节点间共享数据的程序集。Redis集群是一个 提供在多个Redis节点间共享数据的程序集。可以支持多个Master。如果set k1 v1 到M1,那么 M2 和 M3 都会存在v1，即S1 S2 S3 也会存在v1。
redis cluster集群
a_b_e_l_的博客
10-04 2529
1.Redis高可用有四种实现方法：持久化、主从复制、哨兵模式、集群模式2.持久化适用于单台服务器，主要作用是数据备份，即将数据存储在硬盘,保证数据不会因进程退出而丢失。其是最简单的一种高可用方式3.主从复制适用于数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。4.哨兵模式基于主从复制，部署哨兵模式必须先部署主从复制，其在主从复制基础上提供了自动化的故障恢复。但是其写操作无法负载均衡，存储能力受到单机的限制。
Python操作Redis集群：redis-py-cluster-1.3.5详解
资源摘要信息:"Redis-py-cluster-1.3.5.tar.gz 是一个Python库，用于连接Redis集群。Redis集群是一个分布式存储解决方案，可以提供高可用性和水平可扩展性。在这个版本中，提供了Python语言的接口，以便开发者可以在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值