Docker大厂案例二-海量数据缓存

Docker大厂案例二-海量数据缓存

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
一、MySQL读写分离搭建（docker版）
二、Redis集群搭建（docker版）

---

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

例如：随着高并发和互联网技术的不断发展，海量数据的缓存这门技术也越来越重要，很多人都开启了怎么用Redis去搭建多主多从的海量数据缓存，本文就介绍了怎么利用Docker去搭建三主三从的数据缓存案例。

---

提示：以下是本篇文章正文内容，请动手搭建，默认已经会使用docker基础知识

一、Redis多主多从算法？

• 普通hash取模法;
• 一致性Hash算法;
• HASH槽算法:Redis Cluster采用虚拟槽分区，所有的键根据哈希函数映射到0~16383个整数槽内。
  哈希槽计算公式：slot=CRC16（key）& 16384。集群中的每个键都属于这16384个哈希槽中的一个。

二、三主三从搭建步骤

1.启动六个Redis主机

docker run -d --name redis-node-1 --net host --privileged=true  -v /data/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
docker run -d --name redis-node-2 --net host --privileged=true  -v /data/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
docker run -d --name redis-node-3 --net host --privileged=true  -v /data/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
docker run -d --name redis-node-4 --net host --privileged=true  -v /data/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
docker run -d --name redis-node-5 --net host --privileged=true  -v /data/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
docker run -d --name redis-node-6 --net host --privileged=true  -v /data/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386

2.进入第一台主机当中

命令如下：

docker exec -it redis-node-1 /bin/bash

3.构建三主三从集群

redis-cli --cluster create 系统真实的ip:6381 真实的IP:6382 真实的IP:6383 真实的IP:6384 真实的IP:6385 真实的IP:6386 --cluster-replicas 1

4、进入6381，查看集群状态

• 命令

redis-cli -p 6381 

• 查看集群信息

cluster info

• 查看节点，以及挂载信息；

cluster nodes

5、数据读写存储

redis-cli -p 6381 -c
-c 表示优化路由

get k1 //可以看到k1 的值槽位在12706号 从6382 从定向到6383 

6、退出redis ，查看集群信息

exit
redis-cli --cluster check 192.168.12.100:6381

• 存入的4个kv值均落到了集群中的，两个分布在6381中，另外两个分别分布于6382、6383中

7、容错切换

• 当前的节点分布
• 6386(slave)–>6381(master)
• 6385(slave)–>6382(master)
• 6384(slave)–>6383(master)
• 假如6381嘎了，6386会上来顶替成为master大佬吗？
  先将redis-node-1停止
  命令：

docker stop redis-node-1

进入redis-node-6

docker exec -it redis-node-6 /bin/bash
cluster nodes

• 可以看到6381已经失联了，6386顺利成为了master大哥，假如此时6381回来了，6386会让位出来吗？
  
  -此时可以看到4个kv值依然可以正常访问到；

• 重启6381

docker start redis-node-1

• 进入6主机

docker exec -it redis-node-6 /bin/bash
查看集群信息
redis-cli --cluster check 192.168.12.100:6386

• 从上图可见：6主机并没有让位给重新回来的1主机
• 6381(slave)–>6386(master)
• 那么怎么才能让6381重新上位呢？

---

三、主从扩容，如何从3主3从扩展成4主4从？

1、新建6387、6388两个主机节点

docker run -d --name redis-node-7 --net host --privileged=true  -v /data/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
docker run -d --name redis-node-8 --net host --privileged=true  -v /data/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388

2、进入6387容器实例内部

docker exec -it redis-node-7 /bin/bash

3、将新增的6387节点(空槽号)作为master节点加入原集群

• 将新增的6387作为master节点加入集群

redis-cli --cluster add-node 自己实际IP地址:6387 自己实际IP地址:6386
6387 就是将要作为master新增节点
6386 就是6387的引路人，帮助6387找到组织的

4、检查集群情况

redis-cli --cluster check 192.168.12.100:6387

5、重新分派槽号

命令:redis-cli --cluster reshard IP地址:端口号
redis-cli --cluster reshard 自己的ip地址:6386

6、检查集群情况第2次

为什么6387是3个新的区间，以前的还是连续？
重新分配成本太高，所以前3家各自匀出来一部分，从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387

7、为主节点6387分配从节点6388

命令：redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID(这个是6387的编号，按照自己实际情况)

8、检查集群情况第3次

总结

提示：这里对文章进行总结：

例如：以上就是今天要讲的内容，本文仅仅简单介绍了Redis集群的使用，下期会继续讲解怎么从4主4从缩容回到3主3从的状态，有兴趣的请点一下【点赞】、【关注】、【收藏】三件套噢，谢谢大家的支持！！！