Redis运维实践（一）——pipeline批量数据导入

Redis批量数据导入的方式很多，可以通过python脚本解析文本并使用pipeline批量命令的方式实现，也可以通过批量命令文本+pipeline的形式。

内容预览

* pipeline简介
* pipeline批量数据导入

pipeline简介

Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。
这意味着通常情况下一个请求会遵循以下步骤：

• 1、客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应。
• 2、服务端处理命令，并将结果返回给客户端。

这一整个执行时间，被称为RTT (Round Trip Time - 往返时间)。当进行大量的命令请求时，就会发现这会给性能带来多大影响。
例如，如果RTT时间是250毫秒（在一个很慢的连接下），即使服务器每秒能处理100k的请求数，我们每秒最多也只能处理4个请求。

服务器在请求还未被响应的时候就可以处理新的请求，这样就可以将多个命令发送到服务器，而不用等待回复，最后在一个步骤中读取该答复，这就是管道（pipelining）。
Redis很早就支持管道（pipelining）技术，因此无论你运行的是什么版本，你都可以使用管道（pipelining）操作Redis。

pipeline批量数据导入

重要说明: 使用管道发送命令时，服务器将被迫回复一个队列答复，占用很多内存。所以，如果你需要发送大量的命令，最好是把他们按照合理数量分批次的处理
简单介绍下第一种批量导入的方式，即python脚本解析文本，并通过pipeline批量导入命令的形式：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import os
import sys
import pymssql
import redis