一、Redis核心数据结构
1. String 字符串
- 常用操作
Set key value // 存入字符串键值对
MSET key value [key value ...] // 批量存储字符串键值对
SETNX key value // 存入一个不存在的字符串键值对(key不存在时可以设置成功)
GET key // 获取一个字符串键值
MGET key [key ...] // 批量获取字符串键值
DEL key [key ...] // 删除键值
EXPIRE key seconds // 设置一个键在指定时间(秒)后过期
- 原子加减（只针对值为数字的键值对）
INCR key // 将key中存储的数字值加1，如果键值不存在，则设置一个，值为1
DECR key // 将key中存储的数字值减1
INCRBY key increment // 将key所存储的值加上increment，如果键值不存在，则设置一个，值为increment
DECRBY key decrement // 将key所存储的值减去decrement
- 单值缓存
SET key value
GET key - 对象缓存
1）SET key:主键 value(json格式数据)
2）MSET user:1:name dgr user:1:age 18
MGET user:1:name user:1:age - 分布式锁
SETNX product:1001 true //返回1代表获取锁成功，返回0代表获取锁失败
...执行业务操作
DEL product:1001 // 执行完业务释放锁
SET product:1001 true ex 10 nx // 防止程序意外终止导致死锁
- 计数器
INCR key
GET key - Web集群session共享
spring session + redis 实现session共享 - 分布式全局序列号
INCRBY id 1000 // redis批量生成序列号提升性能
2. Hash结构
- 常用操作
HSET key field value //存储一个哈希表key的键值
HSETNX key field value //存储一个不存在的哈希表key的键值(field不存在时也可以设置成功)
HMSET key field value [field value ...] //在一个哈希表key中存储多个键值对
HGET key field //获取哈希表key对应的field键值
HMGET key field [field ...] //批量获取哈希表key中多个field键值
HDEL key field [field ...] //删除哈希表key中的field键值(field必须得设置)
HLEN key //返回哈希表key中field的数量
HGETALL key //返回哈希表key中所有的键值
HINCRBY key field increment //为哈希表key中field键的值加上增量increment
- 应用场景
- 对象缓存
HMSET user {userId}:name value {userId}:age value
HMSET user 1:name dgr 1:age 18
HMGET user 1:name 1:age
- 电商购物车
1）以用户id为key
2）商品id为field
3）商品数量为value
操作：
添加商品 > hset cart:1001 10088 1
增加数量 > hincrby cart:1001 10088 1
商品总数 > hlen cart:1001
删除商品 > hdel cart:1001 10088
获取购物车所有商品 > hgetall cart:1001
- Hash结构优缺点
优点：
1）同类数据归类整合储存，方便数据管理
2）相比string操作消耗内存和CPU更小
3）相比string储存更节省空间
缺点：
1）过期功能不能使用在field上，只能用在key上
2）Redis集群架构下不适合大规模使用
3. List结构
- 常用操作
LPUSH key value [value ...] // 将一个或多个值value插入到key列表的表头(最左边)，按照先后顺序加入集合中
例：lpush list 3 5 2
127.0.0.1:6379> lrange list 0 5
1) "2"
2) "5"
3) "3"
4) "1"
5) "3"
RPUSH key value [value ...] // 将一个或多个值value插入到key列表的表尾(最右边)，按照先后顺序加入集合中
LPOP key // 移除并返回key列表的头元素
RPOP key // 移除并返回key列表的尾元素
LRANGE key start stop // 返回列表key中指定区间内的元素，区间以偏移量start和stop指定，start必须小于集合的大小，stop没有限制，小于start输出空集合
BLPOP key [key ...] timeout // 从key列表表头弹出一个元素，若列表中没有元素，阻塞等待timeout秒，超出时间返回nil；如果timeout=0,一直阻塞等待
BRPOP key [key ...] timeout // 从key列表表尾弹出一个元素，若列表中没有元素，阻塞等待timeout秒；如果timeout=0,一直阻塞等待
- 应用场景
- 常用数据结构
Stack(栈 FILO) = LPUSH + LPOP
Queue(队列）= LPUSH + RPOP
Blocking MQ(阻塞队列）= LPUSH + BRPOP - APP订阅的消息推送
例：关注了MacTalk，备胎说车等大V
1）MacTalk发微博，消息ID为10018
LPUSH msg:{userId} 10018
2）备胎说车发微博，消息ID为10086
LPUSH msg:{userId} 10086
3）查看最新微博消息
LRANGE msg:{userId} 0 5
4. Set结构
- 常用操作
SADD key member [member ...] // 往集合key中存入元素，元素存在则忽略，若key不存在则新建
SREM key member [member ...] // 从集合key中删除元素
SMEMBERS key // 获取集合key中所有元素
SCARD key // 获取集合key的元素个数
SISMEMBER key member // 判断member元素是否存在于集合key中
SRANDMEMBER key [count] // 从集合key中随机选出count个元素，元素不从key中删除
SPOP key [count] // 从集合key中随机选出count个元素，元素从key中删除
- 运算操作
SINTER key [key ...] // 交集运算
SINTERSTORE destination key [key ..] // 将交集结果存入新集合destination中
SUNION key [key ..] // 并集运算
SUNIONSTORE destination key [key ...] // 将并集结果存入新集合destination中
SDIFF key [key ...] // 差集运算
SDIFFSTORE destination key [key ...] // 将差集结果存入新集合destination中
- 应用场景
- 抽奖小程序
1） 用户加入，参与抽奖 -------- SADD key userId
2） 获取所有用户 ---------- SMEMBERS key
3）抽取若干位用户
SRANDMEMBER key count 元素不删除，可重复参与
SPOP key count 元素删除，已中奖的不能再参与抽奖 - 点赞、收藏标签
- 微博微信的关注模型（集合操作）
- 商品筛选模型（集合操作）
5. ZSet有序集合结构
默认顺序根据score由小到大
- 常用操作
ZADD key score member [[score member]…] // 往有序集合key中加入带分值元素
ZREM key member [member …] // 从有序集合key中删除元素
ZSCORE key member // 返回有序集合key中元素member的分值
ZINCRBY key increment member // 为有序集合key中元素member的分值加上increment
ZCARD key // 返回有序集合key中元素个数
ZRANGE key start stop [WITHSCORES] // 正序获取有序集合key从start下标到stop下标的元素，后边加 WITHSCORES 会同时显示分数
ZREVRANGE key start stop [WITHSCORES] // 倒序获取有序集合key从start下标到stop下标的元素
- 集合操作
ZUNIONSTORE destkey numkeys key [key ...] // 并集计算，destkey为目标集合，numkeys为后边key的个数，如果numkeys和后边的key的个数不匹配则报错
ZINTERSTORE destkey numkeys key [key …] // 交集计算
- 应用场景
- 排行榜
1）增加分数
ZINCRBY hotNews:20190819 1 newsId
2）展示当日排行前十
ZREVRANGE hotNews:20190819 0 10 WITHSCORES
3）七日搜索榜单计算
ZUNIONSTORE hotNews:20190813-20190819 7 hotNews:20190813 hotNews:20190814 ... hotNews:20190819
4）展示七日排行前十
ZREVRANGE hotNews:20190813-20190819 0 10 WITHSCORES
6. Redis的更多应用场景
- bitmaps用于bloom过滤器
- 搜索自动补全
二、Redis核心原理
- Redis单线程为什么还能这么快？
Redis所有的数据都在内存中，所有的运算都是内存级别的运算，而且单线程避免了多线程的切换性能损耗问题。同时，正因为Redis是单线程，所以要小心使用Redis指令们对于那些耗时的指令（比如keys）一定要谨慎使用，一不小心就可能导致Redis卡顿； - Redis单线程如何处理那麽多的并发客户端连接？
Redis的IO多路复用：redis利用epoll来实现IO多路复用，将连接信息和事件放到队列中，依次放到文件事件分派器，事件分派器将事件分发给事件处理器。
# 在通过redis-cli查看redis支持的最大连接数，在redis.conf文件中可修改，# maxclients 10000
127.0.0.1:6379> config get maxclients
1) "maxclients"
2) "10000"
- RDB快照(snapshot)
默认情况下，Redis将内存数据库快照保存在名字为dunp.rdb的二进制文件中。
可以对Redis进行设置，让它在“N秒内数据集至少有M个改动”这一条件满足时，自动保存依次数据集。
# 60秒内至少有1000个键的值被改动，这一条件满足时，自动保存一次数据集
# save 6660 1000
# 关闭RDB只需要将所有的save保存策略注释掉即可
# 可以配置多个，相互为或的关系
还可以在redis客户端手动执行命令save或者bgsave来生成dump.rdb文件，每次命令执行都会将所有的redis内存快照到一个新的rdb文件中，并覆盖原有的rdb快照文件。
save时同步命令，bgsave时异步命令，bgsave会从redis主进程fork1出一个子进程专门用来生成rdb快照文件。
save与bgsave对比：
| 命令 | save | bgsave |
|---|---|---|
| IO类型 | 同步 | 异步 |
| 是否阻塞redis其他命令 | 是 | 否（在生成子进程执行调用fork函数时会有短暂阻塞） |
| 复杂度 | O(n) | O(n) |
| 优点 | 不会消耗额外内存 | 不阻塞客户端命令 |
| 缺点 | 阻塞客户端命令 | 需要fork子进程，消耗内存 |
配置自动生成rdb文件后台使用的是bgsave方式。
- AOF（append-only file）
快照功能并不是非常耐久：如果Redis因为某些原因而造成故障停机，那么服务器将丢失最近写入但尚未保存到快照中的那些数据。Redis1.1版本开始，增加了一种完全耐久的持久化方法：AOF吃就换，将修改的每一条指令记录进appendonly.aof文件中。
# 可以通过修改配置文件来打开AOF功能
# appendonly yes
当Redis执行一个改变数据集的命令时，这个命令就会被追加到AOF文件的末尾。这样的话，当Redis重新启动时，程序就可以通过重新执行AOF文件中的命令来达到重建数据集的目的。
# 可以通过配置来设置Redis多久将命令fsync到磁盘一次，有三个选项，只能选择一种
# appendfsync always 每次有新命令追加到AOF文件时就执行依次fsync，非常慢，也非常安全
# appendfsync everysec 每秒fsync一次，足够快（和使用 RDB 持久化差不多），并且在故障时只会丢失1秒钟的数据
# appendfsync no 从不fsync，将命令fsync到磁盘的时机交给操作系统来处理。更快，也更不安全的选择
# 推荐（并且也是默认）的措施为每秒fsync一次， 这种fsync策略可以兼顾速度和安全性
AOF重写
AOF文件里可能有太多没用指令，所以AOF会定期根据内存的最新数据生成aof文件。
可以通过下边的两个配置来控制AOF重写频率：
# auto-aof-rewrite-min-size 64mb // aof文件至少要达到64M才会自动重写，文件太小恢复速度本来就很快，重写的意义不大
# auto-aof-rewrite-percentage 100 // aof文件自上一次重写后文件大小增长了100%则再次触发重写
当然AOF还可以手动重写，进入redis客户端执行命令bgrewriteaof重写AOF。 AOF重写时，redis会fork出一个子进程去做，不会对redis正常命令处理有太多影响。
RDB 和 AOF 比较
| 命令 | RDB | AOF |
|---|---|---|
| 启动优先级 | 低 | 高 |
| 体积 | 小 | 大 |
| 恢复速度 | 快 | 慢 |
| 数据安全性 | 容易丢失数据 | 根据策略决定 |
redis启动时如果既有rdb文件又有aof文件，则优先选择aof文件恢复数据，因为aof一般来说数据更全一 点。
- 混合持久化（Redis4.0）
重启 Redis 时，我们很少使用 RDB来恢复内存状态，因为会丢失大量数据。我们通常使用 AOF 日志重放，但是重放 AOF 日志性能相对 RDB 来说要慢很多，这样在 Redis 实例很大的情况下，启动需要花费很长的时间。
# 可以通过下边的配置开启混合持久化
# aof-use-rdb-preamble yes
如果开启了混合持久化，AOF在重写时，不再是单纯将内存数据转换为RESP命令写入AOF文件，而是将重写这一刻之前的内存做RDB快照处理，并且将RDB快照内容和增量的AOF修改内存数据的命令存在一起，都写入新的AOF文件，新的文件一开始不叫appendonly.aof，等到重写完新的AOF文件才会进行改名，原子的覆盖原有的AOF文件，完成新旧两个AOF文件的替换。 于是在 Redis 重启的时候，可以先加载 RDB 的内容，然后再重放增量 AOF 日志就可以完全替代之前的 AOF 全量文件重放，因此重启效率大幅得到提升。
混合持久化AOF文件结构：
三、主从架构
主从架构下，redis的master节点挂了后，需要手动切换master节点。
Redis主从工作原理
为master配置一个slave，不管这个slave是否是第一次连接上master，都会发送一个SYNC命令（Redis2.8之前）给master请求复制数据。
master收到SYNC命令后，会在后台进行数据持久化，通过bgsave生成最新的rdb快照文件，持久化期间，master会持续接受客户端的请求，并把这些请求缓存在内存中，当持久化进行完毕后，master会把这份rdb文件数据集发送给slave，slave把接收到的数据持久化生成rdb，然后再加载到内存中。master再将之前缓存的命令发送给slave。
当master与slave之间的连接由于某些原因而断开时，slave能够自动重连Master，如果master收到了多个slave并发连接请求，它只会进行一次持久化，而不是一个连接一次，然后再把这一份持久化的数据发送给多个并发连接的slave。
主从复制（全量数据）流程图
数据部分复制
redis2.8以后，slave和master在网络连接断开重连后只进行部分数据复制。
master会在其内存中创建一个复制数据用的缓存队列，缓存最近一段时间的数据，master和其所有的slave都维护了复制的数据下表offset和master的进程id。当网络连接断开重连后，slave会请求master继续进行未完成的复制，从所记录的数据下表开始。如果master进程id变化了或者slave数据下标offset太旧，已经不再master的缓存队列中了，那么将进行一次全量数据的复制。
从2.8版本开始，redis改用可以支持部分数据复制的命令PSYNC去master同步数据
主从复制（部分复制）流程图
四、哨兵模式
哨兵2架构下，client第一次从哨兵找出redis的主节点后，后续直接访问redis的主节点，不会每次都通过sentinel代理访问redis的主节点，当redis的主节点发生变化时，哨兵会第一时间感知到，并将重新选举出来的redis主节点通知给client（这里边redis的client一般都实现了订阅功能，订阅sentinel发布的节点变动消息）
哨兵模式问题：
- 主从切换瞬间存在访问瞬断的情况
- 哨兵的配置略微复杂
- 性能和高可用性等方面表现一般
- 只有一个主节点对外提供服务，没法支持很高的并发，且单个主节点内存也不宜设置过大，否则会导致持久化文件过大，影响数据恢复或主从同步的效率；
五、高可用集群模式
Redis集群是一个由多个主从节点群组成的分布式服务器群，具有复制、高可用和分片的特性。
Redis集群不需要sentinel哨兵也能完成节点的移除和故障转移的功能。需要将每一个节点设置成集群模式。
这种集群模式没有中心节点，可以水平扩展，官方文档称可以线性扩展到上万个节点（官方推荐不超过1000个）。
集群节点的主要配置如下：
# cluster‐enabled yes（启动集群模式）
# cluster‐config‐file nodes.conf（集群节点信息文件，集群中所有节点的信息会在集群启动时同步到每个集群节点下的此文件中）
# cluster‐node‐timeout 5000 表示当某个节点持续timeout的时间失联时，才可以认定该节点出现故障，需要进行主从切换
# 如果要设置密码需要增加如下配置：
# requirepass admin (设置redis访问密码)
# masterauth admin (集群节点间的访问密码)
# 在启动所有的集群节点后，用redis‐cli创建整个redis集群
# /usr/local/redis‐5.0.3/src/redis‐cli ‐a admin ‐‐cluster create ‐‐cluster‐replicas 1 host1:port1 [host2:port2 ...]
# ‐‐cluster‐replicas 1 表示每一个master节点最多只能有一个从节点
Redis集群原理分析
Redis Cluster 将所有数据划分为 16384 个slots(槽位)，每个节点负责其中一部分槽位，槽位的信息存储于每个节点中。
当 Redis Cluster 的客户端来连接集群时，它也会得到一份集群的槽位配置信息并将其缓存在客户端本地。这样当客户端要查找某个key时，通过特定的槽位定位算法3可以直接计算出要定位到目标节点。同时因为槽位的信息可能会存在客户端与服务器不一致的情况，还需要纠正机制来实现槽位信息的校验调整。
槽位定位算法
Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。
HASH_SLOT = CRC16(key) mod 16384
跳转重定位
当客户端向一个错误的节点发出了指令，该节点会发现指令的 key 所在的槽位并不归自己管理，这时它会向客户端发送一个特殊的跳转指令携带目标操作的节点地址，告诉客户端去连这个节点去获取数据。客户端收到指令后除了跳转到正 确的节点上去操作，还会同步更新纠正本地的槽位映射表缓存，后续所有 key 将使用新的槽位映射表
Redis集群节点间的通信机制
维护集群的元数据由两种方式：
-
集中式：
优点在于元数据的更新和读取，时效性非常好，一旦元数据出现变更立即就会更新到集中式的存储中，其他节点读取的时候就能立即感知到；
不足在于所有的元数据的更新压力全部几种在一个地方，可能导致元数据的存储压力 -
gossip：
gossip协议包含多种消息，包括 ping，pong，meet，fail 等等。
ping：每个节点都会频繁给其他节点发送ping，其中包含自己的状态还有自己维护的集群元数据，互相通过ping交换元数据；
pong：返回ping和meet，包含自己的状态和其他信息，也可以用于信息广播和更新；
fail：某个节点判断另一个节点fail之后，就发送fail给其他节点，通知其他节点，指定的节点宕机了。
meet：某个节点发送meet给新加入的节点，让新节点加入集群中，然后新节点就会开始与其他节点进行通信，不需要发送形成网络的所需的所有CLUSTER MEET命令。发送CLUSTER MEET消息以便每个节点能够达到其他每个节点只需通过一条已知的节点链就够了。由于在心跳包中会交换gossip信息，将会创建节点间缺失的链接。gossip协议的优点在于元数据的更新比较分散，不是集中在一个地方，更新请求陆陆续续达到所有的节点上更新，有一定的延时，降低了压力；
缺点在于元数据更新时的延时可能导致集群的一些操作会有一些滞后。
Redis集群选举原理分析
1） slave发现自己的master变为FAIL状态
2）将自己记录的集群currentEpoch加1，并广播FAILOVER_AUTH_REQUEST消息（slave节点并不是在主节点一进入FAIL状态就马上尝试发起选举，而是有一定的延迟4，一定的延迟能确保master的FAIL状态在集群中传播；如果立即尝试选举，其他节点或许尚未感知到master节点的FAIL状态，可能会拒绝投票）
3）其他节点收到消息（只有master节点能够响应），判断请求的合法性，确认对应slave节点的master节点是否真的挂了，并发送FAILOVER_AUTH_ACK，对每个epoch值发送一次ack（一次选举周期内只响应一次）
4）尝试failover的slave手机master返回的FAILOVER_AUTH_ACK
5）当slave收到超过半数master的ack后，变成新的master节点；如果没有超过半数，则重新发起选举
6）新的master节点广播pong消息通知其他节点
Redis集群为什么至少需要三个master节点，并且推荐节点数为奇数？
因为新master的选举需要大于半数的集群master节点同意才能选举成功，如果只有两个master节点，当其中一个挂了，是达不到选举新master的条件的。
奇数个master节点可以在满足选举该条件的基础上节省一个节点，比如三个master节点和四个master节点的集群相 比，大家如果都挂了一个master节点都能选举新master节点，如果都挂了两个master节点都没法选举新master节点 了，所以奇数的master节点更多的是从节省机器资源角度出发说的。
集群是否完整才能对外提供服务
当redis.conf的配置cluster-require-full-coverage为no时，表示当负责一个插槽的主库下线且没有相应的从库进行故障恢复时，集群仍然可用，如果为yes则集群不可用；
六、Redis集群的水平扩展
- 主要流程：
1）添加新的redis节点（默认都是master节点）
2）给新的master节点设置slots返回（重新分片）
3）slot迁移（默认是平均从其他主节点迁移，每个主节点分一部分出来）
如果是添加从节点：则在将节点加入集群后需要给节点指定主节点，不需要分配slots
fork()时linux函数 ↩︎
sentinel哨兵是特殊的redis服务，不提供读写服务，主要用来监控redis的实例节点 ↩︎
槽位定位算法: Cluster 默认会对key值使用CRC16算法进行hash得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。HASH_SLOT = CRC16(key) & (16384 -1) ↩︎
master的每一个slave的延迟都不一样，延迟计算公式：DELAY = 500ms + random(0 ~ 500ms) + SLAVE_RANK * 1000ms 其中SLAVE_RANK表示此slave已经从amster复制数据的总量的rank，Rank越小表示已复制的数据月薪。这种方式下，持有最新数据的slave将最先发起选举（理论上） ↩︎
1260
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
