单线程Jedis管道实现批量写入数据

前言

        生产中的有些场景,我们经常需要大批量的往Redis中写入数据,如果我们采用单条循环写入的话,不仅效率低下,而且可能会出现频繁的创建和销毁redis连接,这些都是很不合理的.

        对此,我们可以采用Jedis的父类中的pipelined()方法获取管道,它可以实现一次性发送多条命令并一次性返回结果,这样就大量的减少了客户端与Redis的通信次数,可以有效的提高程序效率(但是,因为Redis要一次性返回所有结果,它会把这些结果都缓存起来,因此命令越多,缓存消耗的内存也会越大,具体还要视情况而定).此外Pipeline的原理是队列(先进先出),这样也保证了数据的顺序性.

代码实现

maven依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
</dependency>

<!-- 配置文件读取-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-configuration-processor</artifactId>
    <optional>true</optional>
</dependency>

---

配置文件配置redis

redis.dateBase=1
redis.url=192.168.3.111
redis.password=123456
redis.port=6379
redis.maxTotal=200
redis.maxWait=5000
redis.maxIdle=5
redis.minIdle=0
redis.timeout=0

---

读取配置文件内容并自动封装成实体类

将redis的host，port，database封装到实体中。

import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;

@ConfigurationProperties(prefix = "redis")
@Component
@Data
public class RedisConfigProperties {

    private Integer dateBase;

    private String url;

    private String password;

    private Integer port;
}

---

Pipeline实现批量插入示例

实现逻辑如下：

1. 首先创建一个新的Jedis连接；
2. 输入密码后指定database；
3. 根据Jedis创建一个新的Pipeline；
4. 调用hset方法批量写入；
5. 批量写入完成后调用syncAndReturnAll方法统一写入redis；
6. 最后关闭Jedis连接。

@Component
@Order(value = 2)
public class MeteValueApplicationRunner implements ApplicationRunner {

    @Autowired
    RedisConfigProperties redisConfigProperties;

    @Override
    public void run(ApplicationArguments args) {
        Jedis jedis = new Jedis(redisConfigProperties.getUrl(), redisConfigProperties.getPort());
        // 输入密码
        jedis.auth(redisConfigProperties.getPassword());
        // 指定redis的database
        jedis.select(redisConfigProperties.getDateBase());
        Pipeline pipeline = jedis.pipelined();

        for (int i = 0; i < 10000; i++) {
            pipeline.hset("real_time_" + i, System.currentTimeMillis(), i);
        }
        List<Object> list = pipeline.syncAndReturnAll();
        jedis.disconnect();
    }
}

---

Pipeline批量设置过期时间

使用pipeline的pexpire方法实现redis的key过期时间，源码如下：

public Response<Long> pexpire(String key, long milliseconds) {
    this.getClient(key).pexpire(key, milliseconds);
    return this.getResponse(BuilderFactory.LONG);
}

可以看到传入参数为redis的key以及long类型的过期时间，过期时间可以通过org.springframework.data.redis.core.TimeoutUtils工具类中的toMillis方法得到，toMillis的源码如下：

public static long toMillis(long timeout, TimeUnit unit) {
    return roundUpIfNecessary(timeout, unit.toMillis(timeout));
}

TimeUnit是JDK封装好的java.util.concurrent包下面的一个类，表示给定单元粒度的时间段。TimeUnit的所有颗粒度如下

TimeUnit.DAYS          //天
TimeUnit.HOURS         //小时
TimeUnit.MINUTES       //分钟
TimeUnit.SECONDS       //秒
TimeUnit.MILLISECONDS  //毫秒
TimeUnit.MICROSSECONDS  //微秒
TimeUnit.NANOSSECONDS //纳秒

示例：设置redis的过期为30天，代码如下：

Integer timeout = 30;
final TimeUnit unit = TimeUnit.DAYS;
final long rawTimeout = TimeoutUtils.toMillis(timeout, unit);

// 设置过期时间
pipeline.pexpire("key", rawTimeout);

上述通过Pipeline批量写入redis的代码改造如下：

@Component
@Order(value = 2)
public class MeteValueApplicationRunner implements ApplicationRunner {

    @Autowired
    RedisConfigProperties redisConfigProperties;

    @Override
    public void run(ApplicationArguments args) {
        // 得到过期时间
        Integer timeout = 30;
        final TimeUnit unit = TimeUnit.DAYS;
        final long rawTimeout = TimeoutUtils.toMillis(timeout, unit);

        Jedis jedis = new Jedis(redisConfigProperties.getUrl(), redisConfigProperties.getPort());
        // 输入密码
        jedis.auth(redisConfigProperties.getPassword());
        // 指定redis的database
        jedis.select(redisConfigProperties.getDateBase());
        Pipeline pipeline = jedis.pipelined();

        for (int i = 0; i < 10000; i++) {
            pipeline.hset("real_time_" + i, System.currentTimeMillis(), i);
            pipeline.pexpire("real_time_" + i, rawTimeout);
        }
        List<Object> list = pipeline.syncAndReturnAll();
        jedis.disconnect();
    }
}

---