shardedJedis无法设置DB的问题

最新推荐文章于 2022-04-11 16:58:00 发布

weixin_34218890

最新推荐文章于 2022-04-11 16:58:00 发布

阅读量773

点赞数

文章标签：数据库 java python

原文链接：https://my.oschina.net/xiaohui249/blog/761830

版权

2019独角兽企业重金招聘Python工程师标准>>>

本人一直从事java研发，java版本的redis客户端通常使用的是jedis。在之前生产开发过程中，redis主要以单机形式或者主备读写分离形式使用，并未涉及到分片等高级功能。最近，由于业务量激增，单机redis的性能出现了瓶颈，主要是redis消耗cpu过高。于是，想采用数据分片的方式，将请求路由到其他redis实例上去，降低单机redis的压力，该方案具体的实现方式是使用客户端的ShardedJedis对象来实现数据分片。

由于系统之前的缓存设计使用了redis多个db分区存储数据，在使用ShardedJedis分片存取的过程中发现，ShardedJedis不支持动态选择DB，该对象没有select功能。为什么呢？ShardedJedis实际上是一个虚拟连接，一个ShardJedis对应了多个物理连接，通过一致性哈希算法计算key的哈希值，然后获得相应的物理连接，再发送存储命令，实现存储操作。ShardJedis中对应的物理连接必须保持一致，才能保证分片存储数据的一致性，因此，ShardJedis不支持select操作。

如果一定要实现选择DB，怎么办呢？也不是没有办法的，只要把ShardJedis对应的所有物理连接客户端都设置为同一个db即可，下面是代码示例：

public class RedisShardPoolTest {
    private static ShardedJedisPool shardedJedisPool;
    static {
        JedisPoolConfig poolConfig = new JedisPoolConfig();
        poolConfig.setMaxTotal(100);
        poolConfig.setMaxIdle(50);
        poolConfig.setMinIdle(10);
        poolConfig.setMaxWaitMillis(1000 * 60);
        poolConfig.setTestOnBorrow(true);

        String host = "127.0.0.1";
        int portA = 6379;
        int portB = 6378;

        List<JedisShardInfo> jdsInfoList = new ArrayList<JedisShardInfo>(2);
        JedisShardInfo infoA = new JedisShardInfo(host, portA);
        JedisShardInfo infoB = new JedisShardInfo(host, portB);
        jdsInfoList.add(infoA);
        jdsInfoList.add(infoB);
        shardedJedisPool = new ShardedJedisPool(poolConfig, jdsInfoList);
    }

    public static void main(String[] args) {
        ShardedJedis jds = shardedJedisPool.getResource();
        Collection<Jedis> collection=jds.getAllShards();
        Iterator<Jedis> jedis = collection.iterator();
        while(jedis.hasNext()){
            jedis.next().select(1);
        }

        ShardedJedisPipeline pipeline = jds.pipelined();

        for(int i=0; i<100; i++) {
            String key = generateKey();
            System.out.println(key + ":" + jds.getShard(key).getClient().getPort());
            System.out.println(pipeline.set(key,Math.random() + ""));
        }

        pipeline.sync();
    }

    private static int index = 1;
    public static String generateKey(){
         return String.valueOf(Thread.currentThread().getId())+"_"+(index++);
    }
}

转载于:https://my.oschina.net/xiaohui249/blog/761830