Springboot Redis使用pipeline进行批量插入数据优化

一、前言

之前做一个业务，需要把缓存数据存到redis中，一开始使用了for循环，检测后发现数据量一大，就会很慢，1w条数据就需要快2分钟。
原始的代码如下：

LOG.info("开始写入新增数据缓存");
for (int i = 0; i < addCompList.size(); i++) {
    AddDataCacheVo addDataCacheVo = new AddDataCacheVo();
    CompanyImportVo companyImportVo = addCompList.get(i);
    BeanUtils.copyProperties(companyImportVo, addDataCacheVo);
    addDataCacheVo.setKey(userNo + "-add-importData");
    addDataCacheVo.setScore((i + 1) + "");
    redisUtil.zSet(userNo + "-add-importData", JSON.toJSONString(addDataCacheVo), i + 1);
}
LOG.info("完成写入新增数据缓存");

这里使用的是zSet，score按照顺序排序，为后面的分页做准备的。

二、代码优化

问题出现在批量操作redis里面，了解到Redis提供了pipeline管道机制，尝试使用这个来进行优化。
先将需要存储的数据放入map，因为我这里存的是score，和Java对象的json字符串，Map的key是score，value是json字符串。

    public void executePipelined(String key, Map<Integer, String> map) {
        redisTemplate.executePipelined(new RedisCallback<String>() {
               @Override
               public String doInRedis(RedisConnection connection){
                   map.forEach((score, value) -> {
                       connection.zSetCommands().zAdd(key.getBytes(), score, value.getBytes());
                   });
                   return null;
               }
           }
        );
    }

现在，先将原来的Java对象和score加入map中，再调用上面这个方法：

        Map addCompCacheMap = new HashMap<Integer, String>();
        for (int i = 0; i < addCompList.size(); i++) {
            AddDataCacheVo addDataCacheVo = new AddDataCacheVo();
            CompanyImportVo companyImportVo = addCompList.get(i);
            BeanUtils.copyProperties(companyImportVo, addDataCacheVo);
            addDataCacheVo.setKey(userNo + "-add-importData");
            addDataCacheVo.setScore((i + 1) + "");
            addCompCacheMap.put(i + 1, JSON.toJSONString(addDataCacheVo));
        }
        LOG.info("开始写入新增数据缓存");
        if (addCompCacheMap.size() > 0) {
            redisUtil.executePipelined(userNo + "-add-importData", addCompCacheMap);
        }
        LOG.info("完成写入新增数据缓存");

经测试，存储10w条数据，时间大概在4秒左右，先暂时这样了，后续再继续优化。持续学习中…有错误的地方请指教，万分感谢！