redis快速的插入大量的数据

如何在服务启动的时候快速插入大量的  过亿的key value数据呢？

使用新的方式 ： LUKE

以下为几种可能的方式：

     1、逐条命令发送，命令的传输时间RTT很长，速度会比较慢

     2、使用pipelining，这种方式在实现了异步IO的客户端程序中是可行，但是只有很少很少的客户端代码支持，比如php-redis的扩展就不支持异步，你必须

等待处理的返回再进行下一步操作，如果你希望异步的执行这么办呢？

     3、redis提供了一个新的协议，只需要你在文件中写入以下(可以被redis解析的，遵循redis规定的luke协议的字符串)，一次性发送到客户端就可以实现。

SET Key0 Value0
SET Key1 Value1
...
SET KeyN ValueN

发送这个文件的命令在shell中你可以使用 netcat  ，下面是一个demo

(cat data.txt; sleep 10) | nc localhost 6379 > /dev/null

使用上一个命令你不知道什么时候redis的服务接受完了文件，你无法检查错误，因为它不会返回任何值，在reids2.6以后的版本中提供了 redis-pipe来专门处理大量数据插入的问题。

你可以执行下面这个命令：

cat data.txt | redis-cli --pipe

它会返回以下信息：

 

All data transferred. Waiting for the last reply...
Last reply received from server.
errors: 0, replies: 1000000

那么redis的协议规范究竟要怎么写呢。

生成一个大量数据插入的协议其实并没有那么复杂，只需要按照下面文件的格式来写就可以实现。

*<args><cr><lf>
$<len><cr><lf>
<arg0><cr><lf>
<arg1><cr><lf>
...
<argN><cr><lf>

  <cr>  就是\r   ；  <lf>就是\n，所以  SET key value 这种命令的文件内容应该写成以下这样：

*3<cr><lf>
$3<cr><lf>
SET<cr><lf>
$3<cr><lf>
key<cr><lf>
$5<cr><lf>
value<cr><lf>

或者这样：

"*3\r\n$3\r\nSET\r\n$3\r\nkey\r\n$5\r\nvalue\r\n"

所以你只需要写一个脚本来实现就可以了，下面是ruby写的一个格式转换脚本。(github上面有脚本可以下载)

def gen_redis_proto(*cmd)
    proto = ""
    proto << "*"+cmd.length.to_s+"\r\n"
    cmd.each{|arg|
        proto << "$"+arg.to_s.bytesize.to_s+"\r\n"
        proto << arg.to_s+"\r\n"
    }
    proto
end

puts gen_redis_proto("SET","mykey","Hello World!").inspect

那么这种工作模式为什么会比逐条发送命令和使用pipeling更加快速呢，下面是它的工作原理：

1、redis-cli会尽量快速的读取并解析文件发送到服务端

2、当读取完毕以后，客户端通过echo命令打印一个随机的字符串(20字节)

3、等待服务端返回应答结果，如果服务端返回的应答结果与发送的这个20个字节的字符串匹配的话就说明文件已经发送成功了。

这个方式不需要我们去了解这个协议，不需要我们了解发送过程，我们只需要收到返回就表示已经执行成功了。

当然如果客户端需要知道具体执行了多少条命令，我们就需要解析返回的字符串来告诉用户了。