[613]redis数据迁移

键迁移

有时候我们想将一个redis的数据迁移到另一个redis中，redis提供了三种方式来满足数据迁移的需求，分别是move、dump+restore、migrate

move key db

Redis支持多数据库，多数据库之间彼此在数据上是隔离的。move key db就是把指定的键从源数据库迁移到目标数据库中。由于多数据库在生产环境中不建议使用，所以此命令很少使用到。

192.168.8.52:6379[9]> select 11
OK
192.168.8.52:6379[11]> keys *
(empty list or set)
192.168.8.52:6379[11]> select 10
OK
192.168.8.52:6379[10]> keys *
1) "333"
2) "222"
3) "search_news:start_urls"
4) "111"
192.168.8.52:6379[10]> move 111 11
(integer) 1
192.168.8.52:6379[10]> keys *
1) "333"
2) "222"
3) "search_news:start_urls"
192.168.8.52:6379[10]> select 11
OK
192.168.8.52:6379[11]> keys *
1) "111"

dump+restore

• 命令:

源REDIS： dump key
目标redis：restore key ttl value 其中ttl代表过期时间,单位：毫秒。0代表不过期

• 实现原理：

dump+restore可以实现redis不同实例之间的数据迁移。

（1）在源Redis上，dump命令会将键值序列化，格式采用RDB格式。

（2）在目标Redis上，restore命令会将上面序列化的值进行复原，其中ttl代表过期时间，如果ttl为0，则表示没有过期时间

• 注意事项：

（1）整个迁移过程并非原子性的，而是通过客户端分布完成的。

（2）迁移过程是开启了两个实例的redis客户端，将源REDIS序列化后的值放到目标REDIS实例客户端进行操作，并不是在源Redis和目标Redis之间进行传输

192.168.8.52:6379[11]> dump 111
"\x00\xc0o\a\x000\xfc\xf01\xb7k*\xee"

47.104.17.125:6379[10]> keys *
1) "444"
2) "333"
47.104.17.125:6379[10]> restore 111 0 "\x00\xc0o\a\x000\xfc\xf01\xb7k*\xee"
OK
47.104.17.125:6379[10]> keys *
1) "444"
2) "111"
3) "333"

• 代码方式实现

# -*- coding:utf-8 -*-
import redis

'''
redis 键迁移功能
'''
redis_server1 = redis.Redis(host='192.168.8.22', port=6379, db=10, password='333333',decode_responses=False)
dump=redis_server1.dump(name='search_news:start_urls')

#decode_responses=True的话会报编码错误
redis_server2 = redis.Redis(host='192.168.8.33', port=6379, db=10, password='333336',decode_responses=False)
redis_server2.restore(name='search_news:start_urls', ttl=0, value=dump)

#把某个键移到某个db，只能在同一个redis下进行
# redis_server2.move(name='11',db=1)

migrate

migrate命令具有原子性，只需要在源redis实例上执行migrate命令即可。Migrate的命令传输直接在源redis和目标redis实例之间进行。

命令：migrate host port key |’’ destination-db timeout [copy] [replace][keyskey[key…]]

• host：目标redis的IP地址
• Port：目标redis的端口号
• key|’’：在Redis3.06版本之前，migrate只支持迁移一个键，所以此处是要迁移的键。Redis3.06版本之后支持迁移多个键，如果迁移多个键则此处填写空字符串’’
• destination-db:目标数据库索引，例如要迁移到0号数据库，这里就写0
  - timeout：迁移的超时时间（单位毫秒）
• [copy]:添加此选项后迁移后并不删除源键
  - [replace]：添加此选项后，不管目标redis是否存在该键，都会正常迁移进行数据覆盖

- [keys key[key…]]:迁移多个键，例如要迁移k1k2 k3，此处填写keys key1 key2 key3，当所有的key在源实例上不存在时返回nokey

例如：(redis 没有密码的情况下，是操作成功的，有密码操作失败)

migrate 10.3.34.101 6378  0 10000 copy keys mi aa

将mi aa两个元素迁移到10.3.34.101 6378实例的0号数据库上，源实例mi aa两个键仍然保留。

migrate异常NOAUTH Authentication required.

当redis cluster集群设置密码的时候，使用migirate需要加上密码，否则会报如下异常：

(error) ERR Target instance replied with error: NOAUTH Authentication required.

redis在3.0之前是不支持migrate带有password的，在3.0之后可以在migrate中加入auth参数来做权限校验

127.0.0.1:6380> migrate 192.168.0.33 6380 "" 0 2000 auth mypassword keys user:{info}:age user:{info}:id
OK

注意不要把auth password放到最后面，否则migrate会将会auth mypassword都当做key，结果报出如下错误，该错误是说migrate要迁移的多个key不在同一个slot中

(error) CROSSSLOT Keys in request don't hash to the same slot

注意：看到上面的解决方法时，本人进行了测试，结果并没有用，下边是测试过程

47.104.17.125:6379[10]> migrate 192.168.8.52 6379 '' 9 10000 auth 884456 copy keys 111
(error) IOERR error or timeout connecting to the client

参考：https://blog.csdn.net/sunhuiliang85/article/details/74352446
https://blog.csdn.net/sanchan/article/details/77719363
https://blog.csdn.net/u012062455/article/details/87568899
https://www.jianshu.com/p/908403dfc319
https://redis.io/commands/migrate