浅谈RedisTemplate利用pipeline进行高效率批量操作

最新推荐文章于 2024-07-20 09:15:00 发布

ZywooLee

最新推荐文章于 2024-07-20 09:15:00 发布

阅读量1.3w

点赞数 4

分类专栏： Redis 文章标签： redis java

本文链接：https://blog.csdn.net/liyiyu123/article/details/105623679

版权

Redis 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

一.为什么使用pipeline?

了解redis的小伙伴都知道，redis是一个高性能的单线程的key-value数据库。它的执行过程为：

（1）发送命令－〉（2）命令排队－〉（3）命令执行－〉（4）返回结果

如果我们使用redis进行批量插入数据，正常情况下相当于将以上四个步骤批量执行N次。（1）和（4）称为Round Trip Time（RTT，往返时间）。在一条简单指令中，往往（1）（4）步骤之和大过于（2）（3）步骤之和，如何进行优化？Redis提供了pipeline管道机制，它能将一组Redis命令进行组装，通过一次RTT传输给Redis，并将这组Redis命令的执行结果按顺序返回给客户端。

二.RedisTemplate如何使用pipeline？（单机Redis）

public class RedisUtil {

    @Autowired
    private RedisTemplate<Object, Object> redisTemplate;

    /**
     * 功能描述: 使用pipelined批量存储
     *
     * @param: [map, seconds]
     * @return: void
     * @auther: liyiyu
     * @date: 2020/4/19 14:34
     */
    public void executePipelined(Map<String, String> map, long seconds) {
        RedisSerializer<String> serializer = redisTemplate.getStringSerializer();
        redisTemplate.executePipelined(new RedisCallback<String>() {
            @Override
            public String doInRedis(RedisConnection connection) throws DataAccessException {
                map.forEach((key, value) -> {
                    connection.set(serializer.serialize(key), serializer.serialize(value),Expiration.seconds(seconds), RedisStringCommands.SetOption.UPSERT);
                });
                return null;
            }
        },serializer);
    }

}

使用redisTemplate.executePipelined并实现RedisCallback的doInRedis方法。

为什么doInRedis方法一定要返回null?

通过阅读RedisTemplate源码可以看到：

Callback cannot return a non-null value as it gets overwritten by the pipeline

（回调无法返回非null值，因为它会被管道覆盖）

Object result = action.doInRedis(connection);
if (result != null) {
    throw new InvalidDataAccessApiUsageException("Callback cannot return a non-null value as it gets overwritten by the pipeline");
}

三.pipeline性能测试

通过for循环来向redis插入数据和通过pipeline插入数据查看执行时间

long startTime = System.currentTimeMillis();
for (int i = 0; i < 100000; i++) {
    RedisUtil.set("aaa"+i,"a",60,TimeUnit.SECONDS);
}
long endTime = System.currentTimeMillis();
System.out.println("普通set消耗"+(endTime-startTime)+"毫秒");

long startTime2 = System.currentTimeMillis();
Map map = new HashMap(100000);
for (int i = 0; i < 100000; i++) {
    map.put("bbb"+i,"b");
}
RedisUtil.executePipelined(map,60);
long endTime2 = System.currentTimeMillis();
System.out.println("管道set消耗"+(endTime2-startTime2)+"毫秒");

在本机分别执行了三次：

普通set消耗22935毫秒
管道set消耗412毫秒

普通set消耗23221毫秒
管道set消耗334毫秒

普通set消耗23207毫秒
管道set消耗491毫秒

通过比较发现，逐条执行时间是pipeline执行平均时间的56倍！这是在本机测试的结果，理论上，客户端与服务端的网络延迟越大，性能体能越明显。

当然，pipeline性能提升虽然明显，但是每次管道里命令个数太多的话，也会造成客户端响应时间变久，网络传输阻塞。最好还是根据业务情况，将大的pipeline拆分成多个小的pipeline来执行。