超大批量向redis导入数据

日常中有时为了做实验需要向redis导入大量数据

下面提供一些思路：

1、循环导入

key的类型为string，下面是例子脚本

for((i=1;i<=1000000;i++))
do
redis-cli -a "password" -n 0 -p 6379 set "k"$i "v"$i
done

这样的坏处显而易见，每次都要建立连接，效率低下，不可取。

当然你导入几百几千个key倒是没什么问题。

2、pipeline方式导入

先把预先的命令导入到一个文本里面

for((i=1;i<=1000000;i++))
do
echo "set k$i v$i" >> /tmp/_t.txt
done

执行格式转换

unix2dos /tmp/_t.txt 

pipeline导入

cat /tmp/_t.txt | redis-cli -a "password" -n 0 -p 6379 --pipe

以上测试下来，100万的数据，在几十秒中搞定，速度嗷嗷的

参考：http://redis.io/topics/mass-insert

还有一种情况，比如需要把MySQL中的数据批量导入redis

假如目前需要把用户元宝表导入到redis中，表 user_gold(user_id, amount) ,每个用户一个key，string类型。

我们可以这样操作：

-- 1.sql 保存sql到 1.sql中

SELECT CONCAT(  
  "*3\r\n",  
  '$3\r\n',  
  'SET\r\n',  
  '$', LENGTH(redis_key), '\r\n',  
  redis_key, '\r\n',
  '$', LENGTH(redis_value), '\r\n',
  redis_value, '\r'
)  
FROM (  
  SELECT 
  CONCAT('user:gold:',user_id) AS redis_key,
  amount AS redis_value
  FROM test.user_gold
) AS t;

执行导入操作：

mysql --raw --skip-column-names -h2.6.3.101 -P1067 -uroot -p'123456' test -A < /data/sql/1.sql | /data/redis/bin/redis-cli -a "password" -n 0 -p 6379 --pipe