第一章Redis事物
1.Redis事物介绍
Redis事务是一组命令的集合,一个事务中的所有命令都将被序列化,按照一次性、顺序性、排他性的执行一系列的命令。
Redis事物的三大特性:
1.单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断;
2.没有隔离级别的概念:队列中的命令没有提交之前都不会实际的被执行,因为事务提交前任何指令都不会被实际执行,也就不存在”事务内的查询要看到事务里的更新,在事务外查询不能看到”。
3.不保证原子性:redis同一个事务中如果有一条命令执行失败,其后的命令仍然会被执行,没有回滚;
Redis事务执行的三个阶段
-
开启:以 MULTI 开始一个事务;
-
入队:将多个命令入队到事务中,接到这些命令并不会立即执行,而是放到等待执行的事务队列里面;
-
执行:由 EXEC 命令触发事务;
2.Redis事物的基本操作
Multi、Exec、discard
事务从输入Multi命令开始,输入的命令都会依次压入命令缓冲队列中,并不会执行,直到输入Exec后,Redis会将之前的命令缓冲队列中的命令依次执行。组队过程中,可以通过discard来放弃组队。
注意:
命令集合中含有错误的指令(注意是语法错误),均连坐,全部失败。
运行时错误,即非语法错误,正确命令都会执行,错误命令返回错误。
第二章Redis主从复制
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master),后者称为从节点(slave),数据的复制是单向的,只能由主节点到从节点。
主从复制的作用
-
数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
-
故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
-
负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务 (即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。
-
高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。
1.Redis主从复制的原理
主从复制可以分为3个阶段
-
连接建立阶段(即准备阶段)
-
数据同步阶段
-
命令传播阶段
复制过程大致分为6个过程
-
保存主节点(master)信息。
-
从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑,当定时任务发现存在新的主节点后,会尝试与该节点建立网络连接
-
从节点与主节点建立网络连接
从节点会建立一个 socket 套接字,从节点建立了一个端口为51234的套接字,专门用于接受主节点发送的复制命令
-
发送ping命令
连接建立成功后从节点发送 ping 请求进行首次通信。
作用:检测主从之间网络套接字是否可用。检测主节点当前是否可以接受命令 。
-
权限验证。
如果主节点设置了 requirepass 参数,则需要密码验证,从节点必须配置 masterauth 参数保证与主节点相同的密码才能通过验证;如果验证失败复制将终止,从节点重新发起复制流程。
-
同步数据集。
主从复制连接正常通信后,对于首次建立复制的场景,主节点会把持有的数据全部发送给从节点,这部分操作是耗时最长的步骤。
-
主从同步策略 主从刚刚连接的时候,进行全量同步;全同步结束后,进行增量同步。当然,如果有需要,slave 在任何时候都可以发起全量同步。 redis 策略是,无论如何,首先会尝试进行增量同步,如不成功,要求从机进行全量同步。
主从复制的缺点:当主机 Master 宕机以后,我们需要人工解决切换
一旦主节点宕机,写服务无法使用,就需要手动去切换,重新选取主节点,手动设置主从关系。
第三章Redis哨兵监控
哨兵概述
哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。其原理是哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。
哨兵作用
-
集群监控:负责监控redis master和slave进程是否正常工作
-
消息通知:如果某个redis实例有故障,那么哨兵负责发送消息作为报警通知给管理员
-
故障转移:如果master node挂掉了,会自动转移到slave node上
-
配置中心:如果故障转移发生了,通知client客户端新的master地址
【1】编写配置文件
新建sentinel-26379.conf文件
#端口
port 26379
#守护进程运行
daemonize yes
#日志文件
logfile "26379.log"
sentinel monitor mymaster 192.168.184.100 6379 2
参数:
sentinel monitor mymaster 192.168.92.128 6379 2 配置的含义是:该哨兵节点监控192.168.92.128:6379这个主节点,该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意,才能判定主节点故障并进行故障转移。
新建sentinel-26380.conf文件
#端口
port 26380
#守护进程运行
daemonize yes
#日志文件
logfile "26380.log"
sentinel monitor mymaster 192.168.184.100 6379 2
新建sentinel-26381.conf文件
#端口
port 26381
#守护进程运行
daemonize yes
#日志文件
logfile "26381.log"
sentinel monitor mymaster 192.168.184.100 6379 2
【2】启动哨兵节点
redis-sentinel sentinel-26379.conf
redis-sentinel sentinel-26380.conf
redis-sentinel sentinel-26381.conf
【3】查看哨兵状态
[root@localhost src]# ./redis-cli -p 26379
127.0.0.1:26379>
127.0.0.1:26379>
127.0.0.1:26379> info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.66.100:6379,slaves=2,sentinels=3
【4】测试故障转移,使用kill命令杀掉主节点
[root@localhost redis-conf]# ps -ef | grep redis
root 29220 1 0 16:05 ? 00:00:04 redis-server 0.0.0.0:6379
root 29603 1 0 16:05 ? 00:00:03 redis-server 0.0.0.0:6380
root 29871 1 0 16:05 ? 00:00:03 redis-server 0.0.0.0:6381
root 32414 4319 0 16:06 pts/2 00:00:00 redis-cli -p 6380
root 33095 4510 0 16:06 pts/4 00:00:00 redis-cli -p 6381
root 38347 1 0 16:41 ? 00:00:00 redis-sentinel *:26379 [sentinel]
root 38745 1 0 16:41 ? 00:00:00 redis-sentinel *:26380 [sentinel]
root 38948 1 0 16:42 ? 00:00:00 redis-sentinel *:26381 [sentinel]
root 45471 128898 0 16:43 pts/0 00:00:00 grep --color=auto redis
[root@localhost redis-conf]# kill -9 29220
【5】查看哨兵节点信息
127.0.0.1:26379> info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=127.0.0.1:6380,slaves=2,sentinels=3
【6】在新主节点写数据,其他节点读数据
127.0.0.1:6380> set k6 v6
OK
127.0.0.1:6381> get k6
"v6"
1.Redis哨兵的原理
1.监控阶段
注意:
-
sentinel(哨兵1)----->向master(主)和slave(从)发起info,拿到全信息。
-
sentinel(哨兵2)----->向master(主)发起info,就知道已经存在的sentinel(哨兵1)的信息,并且连接slave(从)。
-
sentinel(哨兵2)----->向sentinel(哨兵1)发起subscribe(订阅)。
2.通知阶段
sentinel不断的向master和slave发起通知,收集信息。
3.故障转移阶段
通知阶段sentinel发送的通知没得到master的回应,就会把master标记为SRI_S_DOWN,并且把master的状态发给各个sentinel,其他sentinel接收到master挂了,便给master发信息,并把结果共享给各个sentinel,当有一半的sentinel都认为master挂了的时候,就会把master标记为SRI_0_DOWN。
4.投票阶段
方式: 自己最先接到哪个sentinel的竞选通知就会把票投给它。
剔除一些情况:
-
不在线的
-
响应慢的
-
与原来master断开时间久的
-
优先级原则
第四章RedisCluster
Redis有三种集群模式
-
主从模式
-
Sentinel模式
-
Cluster模式
哨兵模式的缺点
缺点:
-
当master挂掉的时候,sentinel 会选举出来一个 master,选举的时候是没有办法去访问Redis的,会存在访问瞬断的情况;
-
哨兵模式,对外只有master节点可以写,slave节点只能用于读。尽管Redis单节点最多支持10W的QPS,但是在电商大促的时候,写数据的压力全部在master上。
-
Redis的单节点内存不能设置过大,若数据过大在主从同步将会很慢;在节点启动的时候,时间特别长;
2.RedisCluster概述
Redis集群是一个由多个主从节点群组成的分布式服务集群,它具有复制、高可用和分片特性。
Redis集群的优点
-
Redis集群有多个master,可以减小访问瞬断问题的影响
-
Redis集群有多个master,可以提供更高的并发量
-
Redis集群可以分片存储,这样就可以存储更多的数据
3.RedisCluster原理
Redis Cluster将所有数据划分为16384个slots(槽位),每个节点负责其中一部分槽位。槽位的信息存储于每个节点中。只有master节点会被分配槽位,slave节点不会分配槽位。
可以通过{}来定义组的概念,从而是key中{}内相同内容的键值对放到同一个slot中。
mset k1{test} v1 k2{test} v2 k3{test} v3