Redis集群实现

Redis集群

1.1 为什么要搭建集群

通常,为了提高网站响应速度,总是把热点数据保存在内存中而不是直接从后端数据库中读取。Redis是一个很好的Cache工具，大型网站应用，热点数据量往往巨大，几十G上百G是很正常的事儿。由于内存大小的限制，使用一台 Redis 实例显然无法满足需求，这时就需要使用多台 Redis作为缓存数据库。但是如何保证数据存储的一致性呢,这时就需要搭建redis集群.采用合理的机制,保证用户的正常的访问需求。
采用redis集群，可以保证数据分散存储，同时保证数据存储的一致性，并且在内部实现高可用的机制，实现了服务故障的自动迁移。

1.2 集群搭建计划

主从划分:
3台主机 3台从机共6台 端口划分7000-7005

2.1 集群搭建

2.1.1 准备集群文件夹

1.准备集群文件夹
命令: mkdir cluster

2.在cluster文件夹中分别创建7000-7005文件夹

2.1.2 复制配置文件

说明:
将redis根目录中的redis.conf文件复制到cluster/7000/ 并以原名保存
命令: cp redis.conf cluster/7000/

2.1.3 编辑配置文件

1. 注释本地绑定IP地址
   
   2.关闭保护模式
   
   3.修改端口号
   
   4.启用后台启动
   
   5.修改pid文件
   (pid文件是一个文本文件，其内容只有一行，即某个进程的PID。 .pid文件的作用是防止进程启动多个副本，只有获得特定pid文件（固定路径和文件名）的写入权限（F_WRLCK）的进程才能正常启动并将自身的进程PID写入该文件，其它同一程序的多余进程则自动退出).
   
   6.修改持久化文件路径
   
   7.设定内存优化策略
   
   8.关闭AOF模式(看业务)
   
   9.开启集群配置
   
   10.开启集群配置文件
   
   11.修改集群超时时间
   

2.1.4 复制修改后的配置文件

说明:将7000文件夹下的redis.conf文件分别复制到7001-7005中

2.1.5 批量修改

说明:分别将7001-7005文件中的7000改为对应的端口号的名称
打开文件配置文件,直接输入命令: :%s/7000/7001/g

2.16 通过脚本编辑启动/关闭指令

1.创建启动脚本 命令: vim start.sh

2.创建关闭的脚本 命令: vim shutdown.sh

3. 启动redis节点
命令： sh start.sh
4.检查redis节点启动是否正常

2.17 创建redis集群

4.0版本执行 命令:

redis-cli --cluster create --cluster-replicas 1 192.168.126.129:7000 192.168.126.129:7001 192.168.126.129:7002 192.168.126.129:7003 192.168.126.129:7004 192.168.126.129:7005

2.18 集群高可用测试

1.关闭redis主机.检查是否自动实现故障迁移.
2.再次启动关闭的主机.检查是否能够实现自动的挂载.
一般情况下 能够实现主从挂载
个别情况: 宕机后的节点重启,可能挂载到其他主节点中(7001-7002) 正确的

3. Redis集群原理

3.1 Redis集群高可用推选原理

• 原理说明:
  Redis的所有节点都会保存当前redis集群中的全部主从状态信息,并且每个节点都能够相互通信,当一个节点发生宕机现象,则集群中的其他节点通过 PING-----PONG 检测机制检查Redis节点是否宕机,当有半数以上的节点认为宕机,则认为主节点宕机,同时由Redis剩余的主节点进入选举机制,投票选举链接宕机的主节点的从机,实现故障迁移.

3.2 Redis集群宕机条件

特点:集群中如果主机宕机,那么从机可以继续提供服务,当主机中没有从机时,则向其它主机借用多余的从机.继续提供服务.如果主机宕机时没有从机可用,则集群崩溃.
下图有9个redis节点,当节点宕机5-7次时集群才崩溃.

4. Redis hash槽存储数据原理

说明: RedisCluster采用此分区，所有的键根据哈希函数(CRC16[key]%16384)映射到0－16383槽内，共16384个槽位，每个节点维护部分槽及槽所映射的键值数据.根据主节点的个数,均衡划分区间.
算法:哈希函数: Hash()=CRC16[key]%16384

当向redis集群中插入数据时,首先将key进行计算.之后将计算结果匹配到具体的某一个槽的区间内,最后再将数据set到管理该槽的**节点(node)**中.

• redis集群中最多存储多少个数据?
  不清楚,由内存决定.
• redis的主机最多有多少个?
  有16384个

5. SpringBoot整合Redis集群

5.1 编辑properties配置文件

5.2 在配置类中整合Redis

@Configuration 	//我是一个配置类    一般都会与@Bean联用
@PropertySource("classpath:/properties/redis.properties")
public class RedisConfig {
	/**
	 * spring整合redis集群
	 */	
	@Value("${redis.nodes}")
	private String redisNodes;//node,node,node...
	//整合集群实现Redis内存扩容
	@Bean
	public JedisCluster jedisCluster() {		
		String[] nodes = redisNodes.split(",");		
		Set<HostAndPort> set = new HashSet<>();		
		for (String node : nodes) {
			String host = node.split(":")[0];
			int port =Integer.parseInt(node.split(":")[1]);
			set.add(new HostAndPort(host, port));
		}
		JedisCluster jedisCluster = new JedisCluster(set);
		return jedisCluster;
}

5.3 在AOP中注入

5.4 在项目上测试