jedis源码中ShardedJedis实现sharding

1、一个JedisShardInfo类,里面包含了jedis服务器的一些信息,比如

[java]  view plain  copy
  1. private int timeout;  
  2.     private String host;  
  3.     private int port;  
  4.     private String password = null;  
  5.     private String name = null;  
最重要的是它的父类中有一个weight字段,作为本jedis服务器的权值。

这个类还有一个继承自父类的方法createResource,用来生成该类对应的Jedis对象


2、在构造ShardedJedis的时候传入一个JedisShardInfo的list列表。然后ShardedJedis的父类的父类及Sharede就会对这个list进行一些操作:

[java]  view plain  copy
  1. public static final int DEFAULT_WEIGHT = 1;  
  2.    private TreeMap<Long, S> nodes;  
  3.    private final Hashing algo;  
  4.    private final Map<ShardInfo<R>, R> resources = new LinkedHashMap<ShardInfo<R>, R>();  

Sharded中的三个字段,nodes是用来模拟一致性哈希算法用的;algo是用来对字符串产生哈希值的hash函数,这里默认的是murmurhash,这个算法的随机分布特征表现比较好;resources这个map是用来存储JedisShardInfo与其对应的Jedis类之间的映射关系。


在上面提到的对list的操作:

[java]  view plain  copy
  1. private void initialize(List<S> shards) {  
  2.         nodes = new TreeMap<Long, S>();  
  3.   
  4.         for (int i = 0; i != shards.size(); ++i) {  
  5.             final S shardInfo = shards.get(i);  
  6.             if (shardInfo.getName() == null)  
  7.                 for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {  
  8.                     nodes.put(this.algo.hash("SHARD-" + i + "-NODE-" + n), shardInfo);  
  9.                 }  
  10.             else  
  11.                 for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {  
  12.                     nodes.put(this.algo.hash(shardInfo.getName() + "*" + shardInfo.getWeight() + n), shardInfo);  
  13.                 }  
  14.             resources.put(shardInfo, shardInfo.createResource());  
  15.         }  
  16.     }  


遍历list中的每一个shardInfo,将其权重weight*160生成n,然后用名字或者编号来生成n个哈希值(这个是为了保证哈希算法的平衡性而生成的虚拟节点),然后将其和本shardInfo的对应关系存储到treemap里面(这是在模拟一致性哈希算法中将虚拟节点映射到环上的操作),最后将shardInfo与对应的Jedis类的映射关系存储到resources里面。


3、在使用ShardedJedis进行操作的时候,每个方法都要先获得key经过hash后对应的Jedis对象,才能执行对应的方法,这个Jedis对象获取步骤如下:

1)、首先根据传入的key按照hash算法(默认为murmurhash)取得其value,然后用这个value到treemap中找key大于前面生成的value值的第一个键值对,这个键值对的value既是对应的shardedInfo

[java]  view plain  copy
  1. public S getShardInfo(byte[] key) {  
  2.         SortedMap<Long, S> tail = nodes.tailMap(algo.hash(key));  
  3.         if (tail.isEmpty()) {  
  4.             return nodes.get(nodes.firstKey());  
  5.         }  
  6.         return tail.get(tail.firstKey());  
  7.     }  


2)、根据得到的shardedInfo从resources中取得对应的Jedis对象

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值