RedisTemplate使用PipeLine实现批量操作

一、为什么要使用Pipeline?

Redis是采用基于C/S模式的请求/响应协议的TCP服务器。
性能问题一:redis客户端发送多条请求,后面的请求需要等待前面的请求处理完后,才能进行处理,而且每个请求都存在往返时间RRT(Round Trip Time),即使redis性能极高,当数据量足够大,也会极大影响性能,还可能会引起其他意外情况。
性能问题二:性能问题一,我们可以通过scan命令来解决,如何来设置count又是一个问题,设置不好,同样会有大量请求存在,即使设置到1w(推荐最大值),如果扫描的数据量太大,这个问题同样不能避免。每个请求都会经历三次握手、四次挥手,在处理大量连接时,处理完后,挥手会产生大量time-wait,如果该服务器提供其他服务,可能对其他服务造成影响。

二、使用PipeLine

1、方式一:使用SessionCallback,注意返回必须为null才可以,多次提交,一次性操作operations,避免多次连接redis造成性能问题

 stringRedisTemplate.executePipelined(new SessionCallback<Object>() {
               @Override
               public Object execute(RedisOperations operations) throws DataAccessException {
                    int currentOffset = startOffsets;//注意引用外部变量方法
                    for (String data : unStoredataList) {
                                WxMsUserCompanyRedisOffset wxRedisOffset = new WxMsUserCompanyRedisOffset();
                                wxRedisOffset.setOffsetId(idGenerator.getLong());                           
                                operations.opsForHash().put(dataRedisOffsetMapKey+":"+hashKey(data),data.hashCode()+"",wxRedisOffset.getRedisOffset() + "");
                                currentOffset++;
                            }
                            return null;
                        }
                    });

2、方式二:使用RedisCallback,注意返回必须是null才有效的

 List<Long> List = redisTemplate.executePipelined(new RedisCallback<Long>() {
            @Nullable
            @Override
            public Long doInRedis(RedisConnection connection) throws DataAccessException {
                connection.openPipeline();
               for (int i = 0; i < 1000000; i++) {
                    String key = "123" + i;
                    connection.zCount(key.getBytes(), 0,Integer.MAX_VALUE);
                }
                return null;
            }
        });
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值