基于redis的分布式缓存disgear开源到github上了

disgear是笔者参考solrcloud架构基于redis实现的分布式的缓存，支持数据切分到多台机器上，支持HA，支持读写分离和主节点失效自动选举，目前把它开放到github上，开放给大家

github:https://github.com/yangbutao/disgear

总体设计

 

                                    

                

   

1. 系统需求

1) 性能

内存操作，读写性能要求比较高

2) 数据量

支持数据切分，分为多个Shard，每个shard负责一定范围的数据

3) 伸缩性

当单个节点的数据量比较大的时，可以对该节点进行数据切分，分离成两部分，增加新的机器即可。

4) 可用性

系统不存在单点问题，缓存节点支持HA，master节点宕掉后，自动选举一个slave为主节点，对客户端透明

2. 设计说明

首先启动好所有的redis实例，每个redis实例有一个agent负责监控，agent ping redis实例的状态，agent 连接到zookeeper上创建/collections/collection1/leader_elect/shard1/election下的节点，监控比它小的节点，变化时更新leader节点。

当agent连接zookeeper超时或者agent ping redis实例超时，会删除zookeeper上的election下的节点(agent ping redis超时，调用zookeeper api删除节点)。

当ping到redis节点起来后，若检查到zookeeper上没有对应节点，则创建相应节点。

Leader(master)是缓存负责响应的节点，replica(slave)只负责同步leader的数据，当leader宕机后，提升replica为主节点。

以下是zookeeper上节点的相关说明：

/collections

   |----collection1

        |----leader_elect

               ----shard1[0-7ffffffff]      //节点启动时，一共需要分几个 分区，需要声明该节点属于哪个shard

                   ---election         //参与选举的节点列表，竞争成为leader