redis集群-管道

最新推荐文章于 2024-06-18 18:10:09 发布

w狸猫

最新推荐文章于 2024-06-18 18:10:09 发布

阅读量2.4k

点赞数

分类专栏：编程语言文章标签： jedis 集群

本文链接：https://blog.csdn.net/wangtong95/article/details/78181235

版权

本文介绍了在Redis集群环境中，由于jedis自带的cluster不支持管道，需要自行实现ClusterPipeline。通过分析JedisCluster的源码，利用JedisSlotBasedConnectionHandler获取连接，并通过槽位计算获取正确的Jedis实例。同时，文章提到了一个潜在问题，即当操作的键分布在多个槽位时，可能会超出连接池限制，导致性能问题。解决方案包括手动meet节点或使用代理如twemproxy，但可能带来一定的性能损失。

摘要由CSDN通过智能技术生成

造个轮子
- 轮子
- 用轮子
一个意外的发现ClusterPipeline
一个坑

造个轮子

轮子

jedis自带的cluster并不支持管道。所以得自己造轮子。
ShardedJedisPipeline
- 先找一下类似的轮子。jedis-3.0.0.jar里有一个切片（Sharded）相关的类。它有一个管道实现：ShardedJedisPipeline。它继承自PipelineBase类。重载了 getClient方法，实现了sync方法。实际上管道先从连接池里获取一个jedispool，然后获取一个client，所有的操作均调用这个client，然后通过sync方法将client中的指令一次性发送给server。先在的问题编程了如何获取client。
- 获取client。先查看一下JedisCluster中源码。发现它用JedisSlotBasedConnectionHandler extends JedisClusterConnectionHandler类来持有连接。这个类有一个Jedis getConnectionFromSlot(int slot);方法可以通过槽位来获取jedis连接。3.0的redis都使用CRC16算法来计算hash，可以使用JedisClusterCRC16的getSlot方法，将key转化成槽位即可。至于sync方法，照抄ShardedJedisPipeline即可，因为它也是使用的多client（其实不是因为懒，恩）。
JClusterPipeline（自己的轮子，其实基本照抄ShardedJedisPipeline）

public class JClusterPipeline extends PipelineBase{
   

    private JedisSlotBasedConnectionHandler connection;

    private Queue<Client> clients = new LinkedList<Client>();

    @Override
    protecte