Java学习 - Redis-Cluster

为什么需要集群

• 为了高的处理速度
  • 单机redis，官网宣传处理速度为10万命令/秒
  • 如果业务需要更高的处理速度，则需要使用集群
• 为了存储大量数据
  • 一般机器的内存为16-256G
  • 如果想要存储更大量的数据，则需要使用集群

分布式之数据分区

• 因为数据需要分布存储在不同的节点上，所以数据在进行存储之前需要先分区

• 数据分区示意图
  

• 数据分区方法

  分区方式	特点	典型产品
  顺序分区	数据分散有倾斜（某些节点有过多热门数据） 可以顺序访问 键与业务有关	BigTabl HBase
  哈希分区	数据分布无倾斜 不能顺序访问 键与业务无关（由哈希函数生成）	Redis Cluster Memcache

• 哈希分区的三种方法

  • 节点取分区余法

    • 原理：数据所属节点 = Hash(key) % 节点数
    • 优点：原理简单，实现简单
    • 缺点：在进行节点伸缩过程中，可能会发生大量的数据迁移，且缓存会失效
    • 经验：进行节点伸缩时，最好是以倍数进行扩容或缩减

  • 一致性哈希分区法

    • 原理：先定义Hash的取值范围，令它组成一个环，集群中每个节点负责一区间的Hash值，当一个数据加入集群时，让它加入哈希值按顺时针最近的节点

      

* 优点：节点伸缩只会影响最近邻近节点

* 缺点：还是具有数据迁移

• 虚拟槽分区法

  • 原理：预设虚拟槽，每个槽映射一个数据子集，一般比节点数大

    

  • 优点：不会发生数迁移

  • 经验：redis-cluster使用的数据分区算法是虚拟槽分区法

redis-cluster架构

架构图

• 节点之间相互通信，客户端随机连接一个节点

• 集群中节点共享信息
• 当客户端访问一个节点拿数据时
  • 数据就在访问节点：直接返回数据给客户端
  • 数据在其他节点：返回信息告诉客户端去哪个节点拿数据（不帮忙拿，只是告诉去哪里拿）
• 集群中节点是高可用的，但不是依靠sentinel实现的，而是依靠节点之间通信实现的

节点配置

配置项	配置说明
daemonize yes|no	是否以守护线程方式启动
port	端口
dir	工作目录
logfile	日志文件名
dbfilename	RDB文件名
cluster-enabled yes|no	是否构建集群
cluster-config-file	集群日志文件名
cluster-require-full-coverage yes|no	是否只有当所有节点都可用时，集群才可用

meet操作

• 概念：当一个节点A与节点B连接时，由于节点数据共享，所以节点B可以自动连接上与节点A进行连接的节点

  

• 命令

  • redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7001

指派槽

• 概念：让某个节点负责某个区间哈希值的槽

  节点	槽
  A	0 ~ 5460
  B	5461 ~ 10922
  C	10923 ~ 16383

• 经验：当集群中未分配完所有的槽(16383)时，节点是不可用的

主从复制

客户端命令

• 查看当前节点的信息
  • redis-cli -h 127.0.0.1 -p 7000 cluster info
• 查看当前节点连接了多个其他节点
  • redis-cli -h 127.0.0.1 -p 7000 cluster nodes

官方工具安装