redis pipe大数据量导入

最新推荐文章于 2022-12-03 12:02:46 发布

hjy2099

最新推荐文章于 2022-12-03 12:02:46 发布

阅读量1.1k

点赞数

分类专栏： REDIS JAVA 文章标签：数据库大数据 java

JAVA 同时被 2 个专栏收录

22 篇文章 0 订阅

订阅专栏

REDIS

1 篇文章 0 订阅

订阅专栏

本文详细介绍了在Redis中导入千万级数据时如何使用Redis CLI工具的pipeline功能来提升性能。通过分析官方文档并提供Java代码示例，作者分享了数据格式的正确配置方法，最终展示了高效导入大量数据的实操过程。

摘要由CSDN通过智能技术生成

由于做性能测试，需要往redis中导出千万级的数据。得知redis-cli工具支持pipeline导入可以达到最佳性能。由于刚接触redis以及对文档的格式不是很了解，走了很多的弯路。

从官方文档(http://redis.io/topics/mass-insert)我们可以得知数据格式。

*3\r\n            命令起始，定义共3个输入参数
$3\r\n            下一个参数字节长度
SET\r\n           命令参数
$3\r\n             下一个参数字节长度
key\r\n           变量参数
$5\r\n            下一个参数字节长度
value\r\n        值参数

注意：此处的\r\n为换行符，不是输入的字符。在这里我耗了很长的时间。。。。英文不好没办法。

用记事本打开后，数据格式如下图所示：

这里我用JAVA代码，供大家参考：

/**
     * 格式化成输入字符串
     * @param args
     * @return
     */
    private String getString(String... args){
        StringBuilder sb = new StringBuilder();
        sb.append("*").append(args.length).append("\r\n");
        for(String arg : args){
            sb.append("$").append(arg.length()).append("\r\n");
            sb.append(arg).append("\r\n");
        }
        return sb.toString();
    }
    
    public void initFile2(){
        String file= "G:\\2.txt";
        BufferedWriter w = null;
        StringBuilder sb = new StringBuilder();
        try {
            w = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file), "utf-8"));
            for(int i=10000000 ;i <= 10100000;i++){
                if(i/30000 == 0){
                    w.flush();
                }
                sb.setLength(0);
                sb.append(this.getString("hmset","usr"+i,"userid","usr"+i,"username","usrname"+i));
                w.append(sb.toString());
            }
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        } catch (Exception e) {
            e.printStackTrace();
        } finally{
            try {
                w.flush();
                w.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            
        }
    }

最后，将生成的文本使用 cat 2.txt | redis-cli --pipe ，导入的效率十分之高。本人在本本的虚拟机上，导入500万条个hashmap（7个KEY），花费43秒时间。