通过管道传输pipe将MySQL数据批量导入Redis
自Redis 2.6以上版本起,Redis支持快速大批量导入数据,即官网的Redis Mass Insertion,即Pipe传输,
通过将要导入的命令转换为Resp格式,然后通过MySQL的concat()来整理出最终导入的命令集合,以达到快速导入的目的。
根据需求设计好Redis的hash结构,关键是Key的设计
Redis其实就是内存数据库,而其中最常用的就是hash结构,key-value,查询时需要使用到key,所以key的设计决定了查询的效率,
我们以虚拟机的stress库下面的order为例
批量设值
HMSET myhash field1 “Hello” field2 “World”
紫色框引用了select出来的数据,然后转换成符合RESP协议格式:
第一行的 10\r\n : 表示数组,10表示数组元素个数*(可以看下面的SQL查询语句标红的字段有10个,所以为10), \r\n是规定分隔符
-
第二行的 ‘$’,LENGTH(redis_cmd),’\r\n’,redis_cmd,’\r\n’,
-
$表示长字符串,LENGTH(redis_cmd)表示字符串长度,
redis_cmd字符串变量,
\r\n还是规定字符串(window的redis是\n)
测试表结构:
Create Table
CREATE TABLE order
(
orderid
varchar(38) DEFAULT NULL,
ordertime
datetime DEFAULT NULL,
ordermoney
decimal(20,0) DEFAULT NULL,
orderstatus
char(1) DEFAULT NULL,
version
int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8
查询SQL语句:
SELECT CONCAT(
‘*10\r\n’,
‘ ′,LENGTH(rediscmd),‘\r\n′,rediscmd,‘\r\n′,‘