用redis加快mysql,从MySQL到Redis，提升数据迁移的效率

转载自：http://blog.nosqlfan.com/html/4144.html

做开发的同学都知道，一旦设计到底层存储优化，数据结构甚至数据库的变更，通常都会进行数据迁移的工作。如果系统运行时间过长，数据迁移的数量可能非常庞大。这时候，如何进行高效的数据迁移，实际也是上线质量的直接影响因素之一。

下面内容是转载的一个小技巧(原文)，无法适用于各种变化的场景，仅供大家参考。

场景是从

根据什么都测试，他800w的数据迁移，时间从90分钟缩短到2分钟。

废话说了一堆，下面是具体案例。

MySQL数据表结构：

CREATE TABLE events_all_time (

id int(11) unsigned NOT NULL AUTO_INCREMENT,

action varchar(255) NOT NULL,

count int(11) NOT NULL DEFAULT 0,

PRIMARY KEY (id),

UNIQUE KEY uniq_action (action)

);

Redis存储结构：

HSET events_all_time [action] [count]

下面是重点，能过下面SQL语句将MySQL输出直接变更成redis-cli可接收的格式：

-- events_to_redis.sql

SELECT CONCAT(

"*4\r\n",

'$', LENGTH(redis_cmd), '\r\n',

redis_cmd, '\r\n',

'$', LENGTH(redis_key), '\r\n',

redis_key, '\r\n',

'$', LENGTH(hkey), '\r\n',

hkey, '\r\n',

'$', LENGTH(hval), '\r\n',

hval, '\r'

)

FROM (

SELECT

'HSET' as redis_cmd,

'events_all_time' AS redis_key,

action AS hkey,

count AS hval

FROM events_all_time

) AS t

然后用管道符重定向输出即可：

mysql stats_db

posted on 2014-06-15 12:48 杨粼波 阅读(669) 评论(0)  编辑 收藏 引用