1. redis介绍以及应用场景
- 第一章 关系型与非关系型
关系型: mysql oracle
非关系型: mongo redis
- 第二章 redis重要特性
1.速度快
Redis 所有的数据都存放在内存中
Redis 使用c语言实现
Redis 使用单进程架构
2.基于键值对的数据结构服务器
5种数据结构:字符串,哈希,列表,集合,有序集合
3.丰富的功能
提供了键过期功能,可以实现缓存
提供了发布订阅功能,可以实现消息系统
提供了pipeline功能,客户端可以将一批命令一次性传到 Redis,减少了网络开销
4.简单稳定
源码很少,3.0 版本以后 5 万行左右.
使用单线程模型法,是的Redis服务端处理模型变得简单.
不依赖操作系统的中的类库
5.客户端语言多
java,PHP,python,C,C++,Nodejs等
6.数据持久化
把所有的数据都存在内存中
RDB和AOF
7.主从复制
8.高可用和分布式
哨兵 redis-sentinel
集群 redis-cluster
- 第三章 redis应用场景
1.缓存-键过期时间
缓存session会话
缓存用户信息,找不到再去mysql查,查到然后回写到redis
优惠卷过期时间
2.排行榜-列表&有序集合
热度排名排行榜
发布时间排行榜
3.计数器应用-天然支持计数器
帖子浏览数
视频播放次数
商品浏览数
4.社交网络-集合
踩/赞,粉丝,共同好友/喜好,推送,打标签
5.消息队列系统-发布订阅
配合elk实现日志收集
2. redis安装部署
1.目录规划
/data/soft/ #redis下载目录
/opt/redis_{PORT}/{conf,logs,pid} #redis安装目录
/data/redis_{PORT}/redis_{PORT}.rdb #redis数据目录
/root/scripts/redis_shell.sh #redis运维脚本
2.安装命令
yum install gcc -y
make distclean && make
mkdir -p /data/soft
mkdir -p /data/redis_6379
mkdir -p /opt/redis_6379/{conf,pid,logs}
cd /data/soft/
wget http://download.redis.io/releases/redis-3.2.9.tar.gz
tar zxf redis-3.2.9.tar.gz -C /opt/
ln -s /opt/redis-3.2.9/ /opt/redis
cd /opt/redis
make && make install
3.配置文件
cat >/opt/redis_6379/conf/redis_6379.conf <<EOF
### 以守护进程模式启动
daemonize yes
### 绑定的主机地址
bind 10.0.0.51 127.0.0.1
### 监听端口
port 6379
### pid文件和log文件的保存地址
pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log
### 设置数据库的数量,默认数据库为0
databases 16
### 指定本地持久化文件的文件名,默认是dump.rdb
dbfilename redis_6379.rdb
### 本地数据库的目录
dir /data/redis_6379
EOF
4.启动redis
redis-server /opt/redis_6379/conf/redis_6379.conf
5.检查是否启动
ps -ef|grep redis
netstat -lntup|grep redis
6.进入redis
redis-cli
3. redis全局操作命令
####0.写入key
set k1 v1
set k2 v2
set k3 v3
####1.查看所有的key!线上禁止使用!
keys *
####2.查看有多少个key,注意,是估值
DBSIZE
####3.查看是否存在这个KEY
EXISTS k1
EXISTS k1 k2 k3
状态码:
0 表示这个key不存在
1 表示这个key存在
N 表示有的N个key存在
####4.删除key
DEL k1
DEL k1 k2 k3
状态码:
0 表示这个key不存在
1 表示这个key存在,并且删除成功
N 表示有的N个key存在,并且删除N个Key
####5.键过期
设置过期时间
EXPIRE k1 100
取消过期时间
PERSIST k1
状态码:
0: 表示这个key不存在
1: 表示这个key存在,并且设置过期时间成功
####6.查看key是否过期
TTL k1
状态码:
-1 :这个key存在,并且永不过期
-2 :这个key不存在
N :这个key存在,并且在N秒后过期
说明:过期后的key直接会被删除
4. 字符串操作
####1.设置一个key
set k1 v1
####2.查看一个key
get k1
####3.设置多个key
MSET k1 v1 k2 v2 k3 v3
####4.查看多个key
MGET k1 k2 k3
####5.天然计数器
加1:
INCR k1
加N:
INCRBY k1 100
减1:
INCRBY k1 -1
减N:
INCRBY k1 -N
5. 列表操作
####1.插入列表:
LPUSH:从列表左侧插入数据
RPUSH:从列表右侧插入数据
LPUSH list1 1
LPUSH list1 2
LPUSH list1 3
RPUSH list1 4
RPUSH list1 5
RPUSH list1 6
####2.查看列表的长度:
LLEN list1
####3.查看列表的内容:
LRANGE list1 0 -1
####4.删除列表元素:
LPOP: 从列表左侧删除
RPOP: 从列表右侧删除
LPOP list1
RPOP list1
####5.删除列表内容:
DEL list1
6. 哈希类型
哈希:
Hash看起来就像一个’hash’的样子.由键值对组成
HMSET指令设置hash中的多个域
HGET取回单个域
HMGET取回一系列的值
####1.生成一个hash类型:
HMSET user:1 name xiaozhang job it age 28
HMSET user:2 name abc job it age 28
HMSET user:3 name def job it age 28
####2.查看hash里的一个值
HMGET user:1 name
####3.查看hash里的多个值
HMGET user:1 name age job
####4.查看hash里的所有的值
HGETALL user:1
mysql数据和redis哈希对比:
user表
uid name job age
1 xiaozhang it 28
2 xiaoya it 28
3 yazhang it 28
redis缓存mysql数据
名字 key1 k1值 key2 k2的值 key3 k3的值
uid:1 name xiaozahng job it age 28
uid:2 name xiaoya job it age 28
uid:3 name yazahng job it age 28
7. 集合操作
####1.创建集合
SADD set1 1 2 3
SADD set2 1 3 5 7
####2.查看集合的成员:
SMEMBERS set1
SMEMBERS set2
####3.查看集合的差集,以前面一个集合为基准对比后面的,前面有,后面没有则选出来
SDIFF set1 set2
1) "2"
SDIFF set2 set1
1) "7"
####4.查看集合的交集
SINTER set1 set2
1) "1"
2) "3"
3) "5"
####5.查看集合的并集
SUNION set1 set2
1) "1"
2) "2"
3) "3"
4) "5"
5) "7"
说明:集合不允许出现重复的值
8. 持久化
-
1.RDB和AOF优缺点
RDB: 快照,把当前内存里的状态快照到磁盘上 优点: 恢复速度快 缺点: 可能会丢失数据 AOF: 类似于mysql的binlog,重写,1秒写一次 优点: 安全,有可能会丢失1秒的数据 缺点: 文件比较大,恢复速度慢
-
2.配置RDB
save 900 1 save 300 10 save 60 10000 dir /data/redis_6379/ dbfilename redis_6379.rdb 结论: 1.执行shutdown的时候,内部会自动执行bgsave,然后再执行shutdown 2.pkill kill killall 都类似于执行shutdown命令.会触发bgsave持久化 3.恢复的时候,rdb文件名称要和配置文件里写的一样 4.如果没有配置save参数,执行shutdown不会自动bgsave持久化 5.如果没有配置save参数,可以手动执行bgsave触发持久化保存
-
3.配置AOF
appendfilename "redis_6379.aof" appendonly yes appendfsync everysec 实验: 如果aof和rdb文件同时存在,redis会如何读取: 实验步骤: 1.插入一条数据 aof: 有记录 rdb: 没有记录 2.复制到其他地方 3.把redis停掉 4.清空数据目录 5.把数据文件拷贝过来 aof: 有记录 rdb: 没有记录 6.启动redis 7.测试,如果有新插入的数据,就表示读取的是aof,如果没有,就表示读取的是rdb 实验结论: 如果2种数据格式都存在,优先读取aof
9. 认证
1.配置文件
requirepass 123456
2.使用密码登录
两种方式:
第一种:
redis-cli -h db01
AUTH 123456
第二种:
redis-cli -h db01 -a 123456 get k_1
10. 主从复制流程
####主库配置文件:
# 以守护进程模式启动
daemonize yes
# 绑定的主机地址
bind 192.168.0.137 127.0.0.1
# 监听端口
port 6379
# pid文件和log文件的保存地址
pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log
# 设置数据库的数量,默认数据库为0
databases 16
# 指定本地持久化文件的文件名,默认是dump.rdb
dbfilename redis_6379.rdb
# 本地数据库的目录
dir /opt/data/redis_6379
# redis密码信息
requirepass Cosmosource
#### 从库配置文件
# 以守护进程模式启动
daemonize yes
# 绑定的主机地址
bind 192.168.0.137 127.0.0.1
# 监听端口
port 6378
# pid文件和log文件的保存地址
pidfile /opt/redis_6378/pid/redis_6378.pid
logfile /opt/redis_6378/logs/redis_6378.log
# 设置数据库的数量,默认数据库为0
databases 16
# 指定本地持久化文件的文件名,默认是dump.rdb
dbfilename redis_6378.rdb
# 本地数据库的目录
dir /opt/data/redis_6378
# redis密码信息
requirepass Cosmosource
# master地址
replicaof 192.168.0.137 6379
# master密码
masterauth Cosmosource
配置方法:
方法1: 临时生效
[root@db-02 ~]# redis-cli -h 10.0.1.52
10.0.0.52:6379> SLAVEOF 10.0.1.51 6379
OK
方法2: 写入配置文件
SLAVEOF 10.0.1.51 6379
主从复制取消命令:
SLAVEOF no one
主从复制流程:
1.从节点发送同步请求到主节点
2.主节点接收到从节点的请求之后,做了如下操作
- 立即执行bgsave将当前内存里的数据持久化到磁盘上
- 持久化完成之后,将rdb文件发送给从节点
3.从节点从主节点接收到rdb文件之后,做了如下操作
- 清空自己的数据
- 载入从主节点接收的rdb文件到自己的内存里
4.后面的操作就是和主节点实时的了
11. 哨兵安装部署
####1.快速安装3个redis节点
rsync -avz 10.0.0.51:/opt/* /opt/
mkdir /data/redis_6379 -p
cd /opt/redis
make install
sed -i 's#51#53#g' /opt/redis_6379/conf/redis_6379.conf
rm -rf /data/redis_6379/*
redis-server /opt/redis_6379/conf/redis_6379.conf
redis-cli
####2.安装部署3个哨兵节点
===========================
!!!!注意!!!!
三个节点的bind IP修改为自己的IP地址
===========================
mkdir -p /data/redis_26379
mkdir -p /opt/redis_26379/{conf,pid,logs}
####3.配置哨兵的配置文件
cat >/opt/redis_26377/conf/redis_26377.conf << EOF
### 绑定的主机地址
bind 192.168.0.137 127.0.0.1
### 监听端口
port 26377
### 以守护进程模式启动
daemonize yes
### log文件的保存地址
logfile /opt/redis_26377/logs/redis_26377.log
### 指定本地持久化文件的文件名,默认是dump.rdb
dbfilename redis_26377.rdb
### 本地数据库的目录
dir /data/redis_26377
### 主库ip地址端口,进行选举哨兵数量
sentinel monitor mymaster 192.168.0.137 6379 2
### 主库未响应3秒,视为挂掉
sentinel down-after-milliseconds mymaster 3000
### 只允许一个从库同步主库
sentinel parallel-syncs mymaster 1
### 切换主库超时时间
sentinel failover-timeout mymaster 18000
### 主库密码
sentinel auth-pass mymaster Cosmosource
EOF
####4.启动所有的单节点
redis-server /opt/redis_6379/conf/redis_6379.conf
####5.配置主从复制
redis-cli -h db02 slaveof 10.0.0.51 6379
redis-cli -h db03 slaveof 10.0.0.51 6379
####6.启动哨兵
redis-sentinel /opt/redis_26379/conf/redis_26379.conf
####7.验证主节点
redis-cli -h db01 -p 26379 Sentinel get-master-addr-by-name mymaster
redis-cli -h db02 -p 26379 Sentinel get-master-addr-by-name mymaster
redis-cli -h db03 -p 26379 Sentinel get-master-addr-by-name mymaster
####8.模拟故障转移
- 关闭主节点服务上的所有redis进程
- 观察其他2个节点会不会发生选举
- 查看配置文件里会不会自动更新
- 查看新的主节点能不能写入
- 查看从节点能否正常同步
####9.模拟故障修复上线
- 启动单节点
- 启动哨兵
####10.模拟权重选举
- 设置其他节点的权重为0
- 手动发起重新选举
- 观察所有节点消息是否同步
- 观察切换结果是否符合预期
操作命令:
redis-cli -h db02 -p 6379 CONFIG SET slave-priority 0
redis-cli -h db03 -p 6379 CONFIG SET slave-priority 0
redis-cli -h db01 -p 26379 sentinel failover mymaster
验证选举结果:
redis-cli -h db01 -p 26379 Sentinel get-master-addr-by-name mymaster
命令解释:
1.查询命令:CONFIG GET slave-priority
2.设置命令:CONFIG SET slave-priority 0
3.主动切换:sentinel failover mymaster
说明:Redis哨兵+主从+密码
主从密码配置文件里添加2行参数:
requirepass "123456"
masterauth "123456"
12. redis集群安装部署
-
重要概念
每个槽分配到的key的概率足够随机,足够平均
redis集群一共有16384个槽位
只要有一个槽不正常,整个集群不可用
平均分配到每个槽位的概率是大致一样的
重要的是槽的数量
,而不是连不连续0.所有节点删除前面实验的数据 pkill redis rm -rf /opt/redis_* rm -rf /data/redis_* 1.目录规划 主节点 6380 从节点 6381 2.db01创建命令 mkdir -p /opt/redis_{6380,6381}/{conf,logs,pid} mkdir -p /data/redis_{6380,6381} cat >/opt/redis_6380/conf/redis_6380.conf<<EOF bind 10.0.0.51 port 6380 daemonize yes pidfile "/opt/redis_6380/pid/redis_6380.pid" logfile "/opt/redis_6380/logs/redis_6380.log" dbfilename "redis_6380.rdb" dir "/data/redis_6380/" cluster-enabled yes cluster-config-file nodes_6380.conf cluster-node-timeout 15000 EOF cd /opt/ cp redis_6380/conf/redis_6380.conf redis_6381/conf/redis_6381.conf sed -i 's#6380#6381#g' redis_6381/conf/redis_6381.conf rsync -avz /opt/redis_638* db02:/opt/ rsync -avz /opt/redis_638* db03:/opt/ redis-server /opt/redis_6380/conf/redis_6380.conf redis-server /opt/redis_6381/conf/redis_6381.conf ps -ef|grep redis 3.db02操作命令 find /opt/redis_638* -type f -name "*.conf"|xargs sed -i "/bind/s#51#52#g" mkdir –p /data/redis_{6380,6381} redis-server /opt/redis_6380/conf/redis_6380.conf redis-server /opt/redis_6381/conf/redis_6381.conf ps -ef|grep redis 4.db03操作命令 find /opt/redis_638* -type f -name "*.conf"|xargs sed -i "/bind/s#51#53#g" mkdir –p /data/redis_{6380,6381} redis-server /opt/redis_6380/conf/redis_6380.conf redis-server /opt/redis_6381/conf/redis_6381.conf ps -ef|grep redis
13. redis集群发现节点
节点发现使用命令: CLUSTER MEET {IP} {PORT}
redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.51 6381
redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.52 6380
redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.52 6381
redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.53 6380
redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.53 6381
查看集群节点信息
redis-cli -h db01 -p 6380 CLUSTER NODES
查看集群状态
redis-cli -h db01 -p 6380 CLUSTER INFO
14. redis手动分配槽位
1.槽位规划
db01:6380 0-5460
db02:6380 5461-10921
db03:6380 10922-16383
2.分配槽位
redis-cli -h db01 -p 6380 CLUSTER ADDSLOTS {0..5460}
redis-cli -h db02 -p 6380 CLUSTER ADDSLOTS {5461..10922}
redis-cli -h db03 -p 6380 CLUSTER ADDSLOTS {10923..16383}
3.查看集群状态
redis-cli -h db01 -p 6380 CLUSTER info
注意:
1.不要让复制节点复制本机器的主节点, 因为如果那样的话机器挂了集群还是不可用状态, 所以复制
节点要复制其他服务器的主节点.
2.使用 redis-trid 工具自动分配的时候会出现复制节点和主节点在同一台机器上的情况,需要注意
15. redis集群复制关系
1.将集群节点信息保存在文本里,删除不必要的信息,删除81的信息
redis-cli -h 10.0.0.51 -p 6381 CLUSTER NODES
#db01的6380的ID 10.0.0.51:6380
#db02的6380的ID 10.0.0.52:6380
#db03的6380的ID 10.0.0.53:6380
2.操作其他节点
redis-cli -h 10.0.0.51 -p 6381 CLUSTER REPLICATE #db02的6380的ID
redis-cli -h 10.0.0.52 -p 6381 CLUSTER REPLICATE #db03的6380的ID
redis-cli -h 10.0.0.53 -p 6381 CLUSTER REPLICATE #db01的6380的ID
16. redis集群使用工具安装部署
1.安装依赖-只要在db01上操作
yum makecache fast
yum install rubygems -y
gem sources --remove https://rubygems.org/
gem sources -a http://mirrors.aliyun.com/rubygems/
gem update –system
gem install redis -v 3.3.5
2.还原环境-所有节点都执行!!!
pkill redis
rm -rf /data/redis_6380/*
rm -rf /data/redis_6381/*
3.启动集群节点-所有节点都执行
redis-server /opt/redis_6380/conf/redis_6380.conf
redis-server /opt/redis_6381/conf/redis_6381.conf
ps -ef|grep redis
4.使用工具搭建部署Redis
cd /opt/redis/src/
./redis-trib.rb create --replicas 1 10.0.0.51:6380 10.0.0.52:6380 10.0.0.53:6380 10.0.0.51:6381 10.0.0.52:6381 10.0.0.53:6381
5.检查集群完整性
./redis-trib.rb check 10.0.0.51:6380
6.检查集群负载是否合规
./redis-trib.rb rebalance 10.0.0.51:6380
17. redis集群使用工具扩容
1.创建新节点-db01操作
mkdir -p /opt/redis_{6390,6391}/{conf,logs,pid}
mkdir -p /data/redis_{6390,6391}
cd /opt/
cp redis_6380/conf/redis_6380.conf redis_6390/conf/redis_6390.conf
cp redis_6380/conf/redis_6380.conf redis_6391/conf/redis_6391.conf
sed -i 's#6380#6390#g' redis_6390/conf/redis_6390.conf
sed -i 's#6380#6391#g' redis_6391/conf/redis_6391.conf
redis-server /opt/redis_6390/conf/redis_6390.conf
redis-server /opt/redis_6391/conf/redis_6391.conf
ps -ef|grep redis
redis-cli -c -h db01 -p 6380 cluster meet 10.0.0.51 6390
redis-cli -c -h db01 -p 6380 cluster meet 10.0.0.51 6391
redis-cli -c -h db01 -p 6380 cluster nodes
2.使用工具扩容步骤
cd /opt/redis/src/
./redis-trib.rb reshard 10.0.0.51:6390
第一次交互:每个节点保留多少个槽位
How many slots do you want to move (from 1 to 16384)? 4096
第二次交互:接收节点的ID是什么
What is the receiving node ID? 6390的ID
第三次交互:哪个节点需要导出
Source node #1: all
第四次交互:确认是否执行分配
Do you want to proceed with the proposed reshard plan (yes/no)? yes
3.检查集群完整性
./redis-trib.rb check 10.0.0.51:6390
4.检查集群负载是否合规
./redis-trib.rb rebalance 10.0.0.51:6390
5.调整复制顺序
redis-cli -h 10.0.1.53 -p 6381 CLUSTER REPLICATE 51-6390的ID
redis-cli -h 10.0.1.51 -p 6391 CLUSTER REPLICATE 51-6380的ID
说明:集群扩容是不影响数据读写的
18. redis集群使用工具收缩节点
1.使用工具收缩节点
cd /opt/redis/src/
./redis-trib.rb reshard 10.0.0.51:6380
2.第一次交互: 要迁移多少个
How many slots do you want to move (from 1 to 16384)? 1365
3.第二次交互: 输入第一个需要接收节点的ID
What is the receiving node ID? db01的6380的ID
4.第三次交互: 输入需要导出的节点的ID
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1: db01的6390的ID
Source node #2: done
5.第四次交互: 确认
Do you want to proceed with the proposed reshard plan (yes/no)? yes
6.继续重复的操作,直到6390所有的槽位都分配给了其他主节点
7.确认集群状态是否正常,确认6390槽位是否都迁移走了
8.忘记以及下线节点
./redis-trib.rb del-node 10.0.0.51:6390 baf9585a780d9f6e731972613a94b6f3e6d3fb5e
./redis-trib.rb del-node 10.0.0.51:6391 e54a79cca258eb76fb74fc12dafab5ebac26ed90
说明:在扩容或缩容不要暂停操作,会造成数据丢失
##问题背景:
使用工具执行槽位迁移的时候,迁移过程中中断了
问题现象:
1.使用工具check的时候提示941槽的状态为import导入状态
[ERR] Nodes don't agree about c onfigu ration !
5P Check for open sLots
[WARNING] Node 10.0.0.51:6390 has slots in inporting state (941).
2.登录到不同节点查看集群节点信息发现不同的节点,显示的槽位不一样
6390显示 941 槽在 6380身上
6380显示 941 槽在 6390身上
3.登录到6380上查看槽位显示一切正常
登录到6390显示槽位不正常,有一个导入的符号 941<节点ID
排查步骤:
1.使用工具fix,行不通,报错
2.登录到有问题的节点6390身上,执行恢复槽位状态的命令,执行完之后,槽位状态显示正常
CLUSTER SETSLOT 941 STABLE
3.再次尝试使用fix,还是行不通,依然报错
4.尝试登陆6390,删除941槽位
CLUSTER DELSLOTS 941
5.再次尝试使用fix,还是行不通,依然报错
6.尝试登陆6380,删除941槽位
7.再次尝试使用fix,不报错了
8.尝试使用check,不报错
9.重新分配槽位
19. redis分析键值大小
### 需求
redis的内存使用太大键值太多,不知道哪些键值占用的容量比较大,而且在线分析会影响性能.
1.安装命令:
yum install python-pip gcc python-devel -y
cd /opt/
git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
pip install python-lzf
python setup.py install
2.生成测试数据:
redis-cli -h db01 -p 6379 set txt $(cat txt.txt)
3.执行bgsave生成rdb文件
redis-cli -h db01 -p 6379 BGSAVE
3.使用工具分析:
cd /data/redis_6379/
rdb -c memory redis_6379.rdb -f redis_6379.rdb.csv
4.过滤分析
awk -F"," '{print $4,$3}' redis_6379.rdb.csv |sort -n
5.将结果整理汇报给领导,询问开发这个key是否可以删除
20. Redis 集群常用命令
##集群(cluster)
CLUSTER INFO 打印集群的信息
CLUSTER NODES 列出集群当前已知的所有节点(node),以及这些节点的相关信息。
CLUSTER FAILOVER 故障转移
##节点(node)
CLUSTER MEET <ip> <port> 将 ip 和 port 所指定的节点添加到集群当中,让它成为集群的一份子。
CLUSTER FORGET <node_id> 从集群中移除 node_id 指定的节点。
CLUSTER REPLICATE <node_id> 将当前节点设置为 node_id 指定的节点的从节点。
CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。
##槽(slot)
CLUSTER ADDSLOTS <slot> [slot ...] 将一个或多个槽(slot)指派(assign)给当前节点。
CLUSTER DELSLOTS <slot> [slot ...] 移除一个或多个槽对当前节点的指派。
CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽,让当前节点变成一个没有指派任何槽的节点。
CLUSTER SETSLOT <slot> NODE <node_id> 将槽 slot 指派给 node_id 指定的节点,如果槽已经指派给另一个节点,那么先让另一个节点删除该槽>,然后再进行指派。
CLUSTER SETSLOT <slot> MIGRATING <node_id> 将本节点的槽 slot 迁移到 node_id 指定的节点中。
CLUSTER SETSLOT <slot> IMPORTING <node_id> 从 node_id 指定的节点中导入槽 slot 到本节点。
CLUSTER SETSLOT <slot> STABLE 取消对槽 slot 的导入(import)或者迁移(migrate)。
##键 (key)
CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽上。
CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的键值对数量。
CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个 slot 槽中的键。
21. 数据迁移
官方地址:
http://www.oschina.net/p/redis-migrate-tool
##需求
刚切换到 redis 集群的时候肯定会面临数据导入的问题,所以这里推荐使用 redis-migrate-tool 工具来导入单节点数据到集群里
1.安装工具
cd /opt/
git clone https://github.com/vipshop/redis-migrate-tool.git
cd redis-migrate-tool/
autoreconf -fvi
./configure
make && make install
2.创建配置文件
cd
cat > redis_6379_to_6380.conf <<EOF
[source]
type: single
servers:
- 10.0.0.51:6379
[target]
type: redis cluster
servers:
- 10.0.0.51:6380
[common]
listen: 0.0.0.0:8888
source_safe: true
EOF
3.生成测试数据
mkdir -p /data/redis_6379
mkdir -p /opt/redis_6379/{conf,pid,logs}
cat >/opt/redis_6379/conf/redis_6379.conf <<EOF
daemonize yes
bind 10.0.0.51 127.0.0.1
port 6379
pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log
databases 16
dir /data/redis_6379
dbfilename redis_6379.rdb
EOF
redis-server /opt/redis_6379/conf/redis_6379.conf
cat >input_key.sh <<EOF
#!/bin/bash
for i in $(seq 1 1000)
do
redis-cli -c -h db01 -p 6379 set k_${i} v_${i}
echo "set k_${i} is ok"
done
EOF
4.执行导入命令
redis-migrate-tool -c redis_6379_to_6380.conf
5.数据校验
redis-migrate-tool -c redis_6379_to_6380.conf -C redis_check
##RDB文件迁移到集群
1.先把集群的RDB文件都收集起来
- 在从节点上执行bgsave命令生成RDB文件
redis-cli -h db01 -p 6381 BGSAVE
redis-cli -h db02 -p 6381 BGSAVE
redis-cli -h db03 -p 6381 BGSAVE
2.把从节点生成的RDB文件拉取过来
mkdir rdb_backup
cd rdb_backup/
scp db01:/data/redis_6381/redis_6381.rdb db01_6381.rdb
scp db02:/data/redis_6381/redis_6381.rdb db02_6381.rdb
scp db03:/data/redis_6381/redis_6381.rdb db03_6381.rdb
3.清空所有节点的数据
redis-cli -h db01 -p 6380 FLUSHALL
redis-cli -h db02 -p 6380 FLUSHALL
redis-cli -h db03 -p 6380 FLUSHALL
4.编写配置文件
cat >rdb_to_cluter.conf<<EOF
[source]
type: rdb file
servers:
- /root/rdb_backup/db01_6381.rdb
- /root/rdb_backup/db02_6381.rdb
- /root/rdb_backup/db03_6381.rdb
[target]
type: redis cluster
servers:
- 10.0.0.51:6380
[common]
listen: 0.0.0.0:8888
source_safe: true
EOF
8.使用工具导入
redis-migrate-tool -c rdb_to_cluter.conf
22. 生产建议:
1.一定要限制内存最大使用
maxmemory <bytes>
2.限制内存多少
例子:redis本身使用了5G 系统内存为32G
10G用满后 分析一下键值大小
16G用满后 分析一下键值大小
最多给到24G 剩下的内存给系统和持久化时候用
maxmemory-policy noeviction
3.硬盘用SSD
4.集群注意
数据迁移或者主从关系发生改变,尽量在业务低峰期操作
一定要等集群状态稳定之后,在操作下一步
5.集群下线节点
先下线从节点,在下线主节点
6.禁止使用keys *
替代方案使用scan
7.故障转移时间不要调太短
8.RDB持久化可以在从节点上操作
9.如果同时需要RDB和AOF
挂载2块SSD
通过配置,AOF和RDB保存在不同的磁盘上
10.redis的机器上不要跑其他的服务,专机专用
11.网卡要快
12.必须做好监控
13.不要使用swap分区