分布式缓存Redis之ShardedJedis

BugFree_张瑞

已于 2023-12-25 21:41:24 修改

阅读量3.8k

点赞数 1

分类专栏：分布式缓存Redis学习文章标签： Redis Sharded Jedis 集群一致性哈希

于 2017-12-14 10:46:39 首次发布

本文链接：https://blog.csdn.net/u011489043/article/details/78800020

版权

分布式缓存Redis学习专栏收录该内容

22 篇文章 60 订阅

订阅专栏

写在前面

本学习教程所有示例代码见GitHub：https://github.com/selfconzrr/Redis_Learning

原来项目中有用到Redis用作缓存服务，刚开始时只用一台Redis就能够满足服务，随着项目的慢慢进行，发现一台满足不了现有的项目需求，因为Redis操作都是原子性的，造成有时同时读写缓存导致查询效率的下降。但是由于我们现在用的还是Redis2.X版本，还是没有集群功能的（Redis作者在3.0版本中已经加入了集群功能），因此只能使用2.x版本中自带的一个叫做ShardedJedis的来实现分布式缓存。

ShardedJedis是Redis没有集群功能之前，客户端实现的一个数据分布式方案。

ShardedJedis是通过一致性哈希来实现分布式缓存的，通过一定的策略把不同的key分配到不同的redis server上，达到横向扩展的目的。

一、ShardedJedis使用方法

ShardedJedis的使用方法除了配置时有点区别，其他和Jedis基本类似，有一点要注意的是 ShardedJedis 不支持多命令操作，像mget、mset、brpop等可以在redis命令后一次性操作多个key的命令，具体包括哪些，大家可以看Jedis下的 MultiKeyCommands 这个类，这里面就包含了所有的多命令操作。

很贴心的是，Redis作者已经把这些命令从ShardedJedis过滤掉了，使用时也调用不了这些方法，大家知道下就行了。

		// 设置连接池的相关配置
        JedisPoolConfig poolConfig = new JedisPoolConfig();
        poolConfig.setMaxTotal(2);
        poolConfig.setMaxIdle(1);
        poolConfig.setMaxWaitMillis(2000);
        poolConfig.setTestOnBorrow(false);
        poolConfig.setTestOnReturn(false);

        // 设置 Redis 信息
        String host = "127.0.0.1";
        JedisShardInfo shardInfo1 = new JedisShardInfo(host, 6379, 500);
        shardInfo1.setPassword("test123");
        JedisShardInfo shardInfo2 = new JedisShardInfo(host, 6380, 500);
        shardInfo2.setPassword("test123");
        JedisShardInfo shardInfo3 = new JedisShardInfo(host, 6381, 500);
        shardInfo3.setPassword("test123");

        // 初始化 ShardedJedisPool
        List<JedisShardInfo> infoList = Arrays.asList(shardInfo1, shardInfo2, shardInfo3);
        ShardedJedisPool jedisPool = new ShardedJedisPool(poolConfig, infoList);

        // 进行查询等其他操作
       ShardedJedis jedis = null;
        try {
            jedis = jedisPool.getResource();
            jedis.set("test", "test");
            jedis.set("test1", "test1");
            String test = jedis.get("test");
            System.out.println(test);
        } finally {
     // 使用后一定关闭，还给连接池
　　　if(jedis!=null)
　　　　jedis.close();
   }

从代码上看，除了初始化ShardedJedisPool时需要加入多个Redis服务器信息，其他的和Jedis使用差不多。

在初始化ShardedJedisPool 时，我们还可以传入ShardedJedis采用的hash算法，支持Murur_Hash 和MD5两种算法，默认是使用64位的Murur_Hash（可以查看redis.clients.util.Hashing 类查看相关的信息）

另外还可以传入keyTagPattern来指定我们key的分布策略，所有能够匹配keyTagPattern的key（通过正则匹配）将放在同一个redis里，默认的是直接使用key来进行判定。Redis自带了一个Sharded.keyTagPattern。

二、总结

ShardedJedis分布式具体的的实现思路：

redis服务器节点划分：将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)，将划分虚拟节点采用TreeMap存储；
对每个redis服务器的物理连接采用LinkedHashMap存储；
对Key or KeyTag 采用同样的hash算法，然后从TreeMap获取大于等于键hash值得节点，取最邻近节点存储；当key的hash值大于虚拟节点hash值得最大值时，存入第一个虚拟节点。

三、源码分析

请持续关注后续文章。

------至所有正在努力奋斗的程序猿们！加油！！
有码走遍天下无码寸步难行
1024 - 梦想，永不止步!
爱编程不爱Bug
爱加班不爱黑眼圈
固执但不偏执
疯狂但不疯癫
生活里的菜鸟
工作中的大神
身怀宝藏，一心憧憬星辰大海
追求极致，目标始于高山之巅
一群怀揣好奇，梦想改变世界的孩子
一群追日逐浪，正在改变世界的极客
你们用最美的语言，诠释着科技的力量
你们用极速的创新，引领着时代的变迁

——乐于分享，共同进步，欢迎补充
——Any comments greatly appreciated
——诚心欢迎各位交流讨论！QQ:1138517609
——GitHub：https://github.com/selfconzrr