mysql导出redis_mysql导入redis

程序遍历MySQL然后插入Redis,效率极低。利用redis-cli命令行工具有一个批量插入模式,是专门为批量执行命令设计的。可以把Mysql查询的内容格式化成redis-cli可用数据格式。

1, 根据表创建一个sql,将数据转换为redis可用的格式

(1) 表结构

96698916bf987141e416d28fb62e0bfd.png

(2) Redis的数据格式

*3\r\n 命令起始,定义共3个输入参数

$3\r\n 下一个参数字节长度

SET\r\n 命令参数

$3\r\n 下一个参数字节长度

key\r\n 变量参数

$5\r\n 下一个参数字节长度

value\r\n 值参数

注意:此处的\r\n为换行符,不是输入的字符。linux下导出文件分隔符是\r\n,而windows下是\n。

e20ce0016f9dd16c35bd5eb8bfc2a759.png

(3) 创建sql文件,sql语句是将数据转为redis可接收的语句

SELECT CONCAT(

"*4\r\n",

'$', LENGTH(redis_cmd), '\r\n',

redis_cmd, '\r\n',

'$', LENGTH(redis_key), '\r\n',

redis_key, '\r\n',

'$', LENGTH(hkey), '\r\n',

hkey, '\r\n',

'$', LENGTH(hval), '\r\n',

hval, '\r'

)

FROM (

SELECT

'HSET' as redis_cmd,

CONCAT('pid:' ,PID) AS redis_key,

ID AS hkey,

AREANAME AS hval

FROM td_area

) AS t

2,在有mysql客户端的机器执行命令

mysql -uroot -p123456 -h 127.0.0.1 database --skip-column-names --raw < /home/redis.sql | /usr/local/redis/bin/redis-cli -p 6380 --pipe

重要的mysql参数说明:

--raw: 使mysql不转换字段值中的换行符。

--skip-column-names: 使mysql输出的每行中不包含列名。

3fda6d5f88dc68c1ab6bfadb8f680762.png

然而在我的使用过程中发现了一个问题,由于业务关系,我的基础业务数据库中会存在空列,而这个又是关键数据,需要迁移到Redis中的。单纯利用上述的SQL语句,进行操作的时候,Redis-cli会抛出“Unknown Command NULL on Redis.”

我们知道,Redis是可以存储二进制数据的(而实际上Redis存储的Value都是二进制格式存储的),所以空数据理论上是可以存入的。然而根据观察,Redis的空数据,表现为空字符串形式,即“”。所以,我们需要将我们数据库中为NULL的数据,转换成为“”进行输出

SELECT CONCAT(

"*4\r\n",

\'$\', LENGTH(redis_cmd), \'\r\n\',

redis_cmd, \'\r\n\',

\'$\', LENGTH(redis_key), \'\r\n\',

redis_key, \'\r\n\',

\'$\', LENGTH(hkey), \'\r\n\',

hkey, \'\r\n\',

\'$\', LENGTH(hval), \'\r\n\',

hval, \'\r\'

)

FROM (

SELECT

\'HSET\' AS redis_cmd,

\'david\' AS redis_key,

myname AS hkey,

if(mymoney is not null, mymoney, '') AS hval

FROM david_lin

) AS t;

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值