首先来启动我们的redis,我的redis存放在/usr/local/redis下面,启动命令:
连接客户端:
redis之持久化(RDB~AOF)
RDB:
rdb是快照的方式存储,也就是过了多久达到一定的规则之后进行快照,存储到一个rdb文件中,该文件就是用来存储快照数据的。
RDB的优势在于对性能的消耗不会很高,因为它不是频繁的去存储数据,但是它会出现近期数据可能丢失的问题,丢失原因就是在每隔一段时间存储时出现宕机的情况,导致这一段时间内数据丢失。
############### 快照方式 ##############
save 900 1 #在900s(15m)之后,至少有1个key发生变化,则将数据存入rdb文件
save 300 10 #在300s(5m)之后,至少有10个key发生变化,则将数据存入rdb文件
save 60 10000 #在60s(1m)之后,至少有1000个key发生变化,则将数据存入rdb文件
dbcompression yes #dump时是否压缩数据
dir /var/lib/redis #.rdb文件存放目录
AOF
aof存储跟rdb存储就不太一样了,aof存储它是在你操作了一条数据时,.aof的文件也会对应的添加一条数据,这样的话就不会导致数据的丢失情况出现,但是它的性能消耗会比较高。
redis.conf 文件中:appendonly no 默认未开启 appendfilename 文件名称
redis主从复制(哨兵模式):
主从复制:
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master/Leader),后者称为从节点(Slave/Follower), 数据的复制是单向的!只能由主节点复制到从节点(主节点以写为主、从节点以读为主),主要是平均redis服务的压力,但是在主从复制中,如果主机宕机的情况下,从机只能进行读取,redis就丧失了读取功能,也就是主从复制中某个redis宕机了,该集群的主从状态默认不变。这样在某种场景下还是有问题的。这个时候我们就在想有没有自动选举从机转移成主机呢,哨兵模式解决的就是该问题。
哨兵模式:
哨兵模式:意思就是一个兵去监控你的整体redis主从集群,如果一个主节点宕机了,那么哨兵会重新在从节点中选举一名成为主节点:
首先我们需要配置一个conf文件,这个配置就是哨兵,通过redis-sentinel进行开启:
sentinel.conf文件哨兵配置:
# Example sentinel.conf
# 哨兵sentinel实例运行的端口 默认26379
port 26379
# 哨兵sentinel的工作目录
dir /tmp
# 哨兵sentinel监控的redis主节点的 ip port
# master-name 可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 1
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd
# 指定多少毫秒之后 主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线 默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步,
这个数字越小,完成failover所需的时间就越长,
但是如果这个数字越大,就意味着越 多的slave因为replication而不可用。
可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
# 故障转移的超时时间 failover-timeout 可以用在以下这些方面:
#1. 同一个sentinel对同一个master两次failover之间的间隔时间。
#2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
#3.当想要取消一个正在进行的failover所需要的时间。
#4.当进行failover时,配置所有slaves指向新的master所需的最大时间。不过,即使过了这个超时,slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
# SCRIPTS EXECUTION
#配置当某一事件发生时所需要执行的脚本,可以通过脚本来通知管理员,例如当系统运行不正常时发邮件通知相关人员。
#对于脚本的运行结果有以下规则:
#若脚本执行后返回1,那么该脚本稍后将会被再次执行,重复次数目前默认为10
#若脚本执行后返回2,或者比2更高的一个返回值,脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了,则同返回值为1时的行为相同。
#一个脚本的最大执行时间为60s,如果超过这个时间,脚本将会被一个SIGKILL信号终止,之后重新执行。
#通知型脚本:当sentinel有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本,
#这时这个脚本应该通过邮件,SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时,将传给脚本两个参数,
#一个是事件的类型,
#一个是事件的描述。
#如果sentinel.conf配置文件中配置了这个脚本路径,那么必须保证这个脚本存在于这个路径,并且是可执行的,否则sentinel无法正常启动成功。
#通知脚本
# sentinel notification-script <master-name> <script-path>
sentinel notification-script mymaster /var/redis/notify.sh
# 客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时,这个脚本将会被调用,通知相关的客户端关于master地址已经发生改变的信息。
# 以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover”,
# <role>是“leader”或者“observer”中的一个。
# 参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的,能被多次调用,不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh
这边我的哨兵核心配置为:
sentinel monitor mymaster 127.0.0.1 6380 1 监控主节点
启动哨兵:
将6380端口设为主节点在客户端中输入:slaveof no one
将6381端口设为从节点在客户端中输入: slaveof 127.0.0.1 6380
将6382端口设为从节点在客户端中输入: slaveof 127.0.0.1 6380
在输入info replication该命令查看各服务器的详细状态:
由于我后期测试这边6381为主节点,6380和6382为从节点。你们可以去停掉主节点看看哨兵服务输出情况。
缓存穿透
缓存穿透指的就是在用户查询数据时,由于redis中查询某一个key在redis中不存在,那么它就会去查mysql,在mysql中也未查询到,该请求会一直查询mysql服务,一直查询mysql服务就会导致mysql压力过大而可能产生宕机如图:
这种情况可能出现于恶意攻击网站的情况,
解决方案:
第一种:布隆过滤器,它可以很好的处理缓存穿透的问题。(下一篇可能会讲)
第二种:在重新redis的时候未查询到,然后查询mysql时也未查询到的时候进行redis数据添加
比如username='张三’没找到,那么我就创建一条空的redis数据,这样用户就会去请求redis种的那条空数据了,但是这个方案不是特别好,在用户添加张三到mysql时,redis不能进行数据的同步,产生一些业务不一致的问题
缓存击穿
缓存击穿就是在设置热点key的时候,大量请求一开始访问没问题,但是热点key设置了过期时间为60S,在60.1S的时候进行热点恢复在这0.1S中大量数据像一颗子弹一样打入mysql服务器,mysql可能在这0.1S中处理不了大量的数据而产生的宕机。
解决方案:
第一种方案:将热点key设置为永不过期,但是设置永不过期对redis的存储有一定的影响,而且reids缓存过多,redis可能会将某些数据进行删除,从而导致mysql宕机
第二种方案:加同步锁,在redis中的热点key过期是的大量请求到mysql时添加一个同步锁,让数据一条一条的访问mysql数据库,从而降低mysql的压力。
缓存雪崩
雪崩就是大量的key设置的过期时间相同导致集体失效,导致mysql等服务压力过大而产生的宕机。或者在访问量特别大的时候,redis的整个集群扛不住压力,在最后一条数据,将整个redis集群冲击的宕机。
解决方案:
第一种方案:搭建更多的redis集群,均摊访问压力
第二种方案:这个解决方案的思想是,在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存,其他线程等待。
第三种方案:在用户访问前,将大量的数据先加载到缓存中,用户直接读缓存数据,从而减少缓存的压力。