Redis高可用

最新推荐文章于 2024-09-07 16:01:40 发布
最新推荐文章于 2024-09-07 16:01:40 发布
阅读量784 收藏 3
点赞数 6
分类专栏： Redis 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44265455/article/details/140851885
版权

一、Redis高可用概念

Redis当中，高可用的概念更加宽泛一些。除了正常的冗余功能之外，数据量的扩容，数据安全等也属于Redis高可用的内容。

1.1 实现高可用的方式

  • 持久化
  • 主从复制
  • 哨兵（主从复制基础上）
  • Redis集群（cluster）

其中持久化是最简单的高可用方法，以至于有时会被从高可用的范畴中移除。持久化是简单、基础而重要的功能。

1.2 Redis的持久化

持久化就是把内存当中的数据保存到硬盘。开启持久化之后会有一个持久化文件，通过文件进行恢复。

Redis提供的持久化方式：RBD持久化和AOF持久化。

二、RBD持久化

2.1 RDB持久化原理

RDB持久化，会定时地将内存当中的数据保存到磁盘上，类似于快照的形式用二进制压缩存储，后缀名是.rdb

每次Redis重新启动时，都会重新读取rdb文件

2.2 RDB持久化配置方法

vim /etc/redis/6379.conf
# --254行--
dbfilename dump.rdb
## RDB持久化的默认文件

# --264行--
dir /var/lib/redis/6379
## RDB持久化文件的保存目录

# --219-221行--
## 格式save time count 
## 当时间到time秒，如果Redis的数据发生了count次变化，就会执行bgsave
save 900 1
## 当时间到900秒，如果Redis的数据发生了1次变化，就会执行bgsave
save 300 10
## 当时间到了300秒，如果Redis的数据发生了10次变化，就会执行bgsave
save 60 10000
## 当时间到了60秒，如果Redis的数据发生了10000次变化，就会执行bgsave

2.3 为什么使用bgsave而不是save

生产环境中，save是禁用的。因为一旦执行save，创建rdb文件是由Redis主进程进行创建，此时Redis主进程会进入阻塞状态，读写都要等待，直到save完成。

bgsave相当于rdb快照保存的方式。bgsave提交到主进程，会fork(后台进程)创建一个子进程，在生成子进程的过程中，主进程会进入阻塞，直到子进程生成完毕，主进程解除阻塞（这个阻塞的时间很短）。然后由fork的子进程生成dump.rdb文件，生成完成后主进程回收子进程。

如果bgsave的时候，子进程已存在，正在执行，则主进程不会调用fork，会正常工作，直接由已存在的子进程创建rdb文件。

在执行关闭Redis的时候，会把缓存中的数据同步到从，相当于执行bgsave。

bgsave是主从复制的默认恢复模式，从节点执行全量恢复操作，主节点通过bgsave命令把rbd文件发送给从节点。

除了配置文件，save time count中的配置之外，开启Redis也会执行bgsave。

三、AOF持久化

3.1 AOF持久化原理

AOF持久化是把操作的数据库执行命令以日志形式保存在指定的文件当中，文件的后缀名.aof。类似于mysql的binlog，通过命令的方式进行恢复。但比binlog格式更简单一些，没有时间，没有位置，只有命令。

AOF的持久化的实时性更好，只要是操作了都会记录在日志文件中，进程出现意外时，丢失的数据更少，AOF是主流的持久化方式。

RDB和AOF两者是配合使用的，一般全量备份用RDB。

AOF默认是关闭的，需要开启。如果同时开启RDB和AOF，系统默认会选择AOF进行恢复。所以RDB一般不需要特意去关闭。

3.2 AOF持久化配置

vim /etc/redis/6379.conf

# --700行-- 修改
appendonly yes
## 启用AOF持久化

# --704行-- 
appendfilename "appendonly.aof"
## 默认AOF持久化文件名

# --730行--
appendfsync everysec
##每秒都会自动更新一次

# --752行--
no-appendfsync-on-rewrite no
## 控制在执行 AOF 重写时是否允许在重写期间执行 `fsync()` 操作。no即不允许

# --800行--

aof-load-truncated yes
## 如果发现AOF文件被截断，Redis在启动时会自动修复AOF的文件，尽可能的对数据进行恢复。
## 如果设置为no，Redis发现AOF文件被截断会拒绝启动。

3.3 AOF持久化的工作方式

bgwriteaof命令，提交到主进程，主进程fork一个子进程，子进程来创建AOF文件。fork的过程中主进程会阻塞，直到子进程fork完成。

子进程创建AOF文件完成后，主进程会回收子进程，如果子进程存在时继续提交bgwriteaof，会在当前子进程上继续创建AOF文件，写入到旧的AOF文件当中。

重写：bgrewriteaof

一旦开启AOF持久化之后，所有的数据库操作记录必然都会写入AOF持久化文件当中。

问题就此出现：AOF文件会随着操作记录的增多而越来越大。一旦要恢复，速度会很慢。

AOF重写就是为了压缩AOF持久化文件，是 Redis 的一种优化操作，它会重写当前 AOF 文件，去除其中的冗余写操作，从而减小 AOF 文件的大小，并且保持了数据的完整性。

在执行 BGREWRITEAOF 命令时，Redis 会启动一个后台进程来执行 AOF 重写操作，这个过程中会扫描现有的 AOF 文件，生成一个新的更紧凑的 AOF 文件，用于替换旧的 AOF 文件。这样可以减少磁盘空间的使用，并且在 Redis 重启时加快 AOF 文件的加载速度。

后续有新的读写，会继续追加到AOF文件。

3.4 RBD持久化和AOF持久化的优缺点

  • RDB文件小，传输速度很快，恢复速度也很快，适合全量复制，所以是主从复制的默认模式，性能上影响较小。

  • AOF是秒级的持久化，数据量全，兼容性也好，适合做数据迁移。缺点是文件大，回复速度慢，性能影响较大。支持全量和增量。

  • 生产环境中，数据安全是最重要的指标，所以AOF的应用场景更广。

四、对Redis做资源限制

进入Redis查询资源使用情况

#查看Redis占用内存
info memory
#对查询结果的解释
# Memory
used_memory:853336
## Redis中数据占用内存的大小，单位字节
used_memory_human:833.34K
used_memory_rss:14639104
## Redis向系统申请的内存，随着数据占用的大小，自动扩容
used_memory_rss_human:13.96M
used_memory_peak:853336
## Redis占用系统内存的峰值
used_memory_peak_human:833.34K

#设置Redis各项阈值
vim /etc/redis/6379.conf
# --567行-- 取消注释
maxmemory 2gb
##设置Redis占用系统内存的最大值

内存碎片化率：

内存碎片化率=Redis向系统申请的内存/Redis数据实际占用的内存

#查看内存碎片化率
redis-cli info memory | grep ratio
#对查询结果的解释
allocator_frag_ratio:1.27
##分配器的碎片化比例，值越大，碎片越多，内存浪费也越多
allocator_rss_ratio:9.54
##分配器占用物理内存的比例
rss_overhead_ratio:1.26
##表示占用物理内存的额外开销的比例，这个值越小越好
##说明Redis实际使用的物理内存比rss更接近
mem_fragmentation_ratio:20.87
##表示内存的碎片比例，已经分配但是没有利用的内存

清理内存碎片

vim /etc/redis/6379.conf
#自动清理内存碎片，解注释以下行，1370行左右
activedefrag yes

#手动清理内存碎片
redis-ctl memory purge

五、redis的故障：缓存击穿和缓存雪崩

5.1 缓存雪崩

Redis产生了大面积的故障，大量缓存数据丢失，所有的请求全部转发到了数据库。而数据库不适合处理高并发，很快会导致集群崩溃，然后系统瘫痪。

可能原因：

  • 缓存数据大量的同时过期，新的缓存没有及时生成
  • Redis服务集群崩溃了
  • 人为

怎么预防：

  • Redis集群做高可用方案：持久化、主从、哨兵、集群。
  • 如果访问量过大， 超过了Redis本身的负载能力，应用熔断机制，Hystrix可以实现熔断，降级、限流来降低雪崩的概率。

5.2 缓存击穿

可能原因

  • Redis的缓存数据有一部分丢失，导致对这部分数据的请求转发到了数据库
  • 或者是缓存杠杠过期，新缓存还没有建立，对这部分数据的请求转发到了数据库

防范机制：

  • 数据库的热点缓存数据设置为永不过期
  • 持久化、高可用

举例：

发现经常使用的热点语句，查询速度突然变的很慢，查找问题，发现该热点数据对应的缓存键值对消失了。

因为我没有Redis的密码，我报告给了数据库的部门。

或我进入了Redis的数据库，set重新创建了这个热点数据的缓存，解决了这个问题。

5.3 缓存穿透

现象：

  • 非常少见，很大几率是被黑客攻击。
  • 利用缓存和数据库里都没有的数据，用户一直在发起请求，利用大量的请求压垮数据库，进而导致网站崩溃。

防范机制

  • 防火墙，只能起到一定的作用
  • 验证拦截（消息队列），需要手动完成，可以判断是否是攻击行为
  • 缓存空的数据，生命周期短一些，以防止恶意攻击
扮瘦人
关注
  • 6
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis高可用部署架构
Web3 & Basketball
07-19 4万+
Redis高可用部署可以采用主从复制与哨兵架构或Redis集群架构。下面将分别介绍这两种架构的架构图、优缺点和具体应用场景。
redis高可用
BWL1998的博客
06-26 298
持久化的功能：Redis是内存数据库，数据都是存储在内存中，为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失，需要定期将Redis中的数据以某种形式（数据或命令）从内存保存到硬盘；当下次Redis重启时，利用持久化文件实现数据恢复。除此之外，为了进行灾难备份，可以将持久化文件拷贝到一个远程位置。由于AOF持久化的实时性更好，即当进程意外退出时丢失的数据更少，因此AoF是目前主流的持久化方式，不过RDB持久化仍然有其用武之地。RDB持久化是指在指定的时间间隔内将内存中当前进程中的数据生成快照
Redis高可用的分布式锁
08-03
基于SpringBoot搭建 使用面向切面将所有方法上带有@Lock的方法进行拦截 进行锁的处理
【深入学习Redis丨第三篇】深入详解Redis高可用集群模式
热门推荐
陈橘又青的博客
06-11 9万+
主数据库可以进行读写操作，当读写操作导致数据变化时会自动将数据同步给从数据库* 从数据库一般都是只读的，并且接收主数据库同步过来的数据* 一个master可以拥有多个slave，但是一个slave只能对应一个master* slave挂了不影响其他slave的读和master的读和写，重新启动后会将数据从master同步过来* master挂了以后，不影响slave的读，但redis不再提供写服务，master重启后redis将重新对外提供写服务。
redis高可用集群
Li_zhong_jie的博客
04-12 1631
一、redis集群方案比较 主从哨兵模式 redis3.0之前的版本实现集群一般采用的方案是借助哨兵sentinel工具来监控master节点的状态，如果master主节点异常，则会做主从切换，将一台slave机器作为master。哨兵的配置稍微复杂，并且性能和高可用方面表现一般，主从切换瞬间存在访问瞬断的情况，而且哨兵模式只有一个主节点对外服务，没办法支持很高的并发。并且这单个主节点内存不宜设置过大，否则会导致持久化文件过大，影响数据恢复和主从同步。 高可用集群模式 redis集群是一个由多个主从节点群
Redis高可用（解决方案）
weixin_57474376的博客
08-04 346
常见的使用方式 Redis的几种常见的使用方式包括： Redis 单副本 Redis多副本（主从） Redis Sentinel（哨兵） Redis Cluster Redis自研 各种使用的优缺点 Redis 单副本 Redis 单副本，采用单个Redis节点部署架构，没有备用节点实时同步数据，不提供数据持久化和备份策略，适用于数据可靠性要求不高的纯缓存业务场景。 优点 架构简单，部署方便。 ...
DB服务器使用mysql和redis高可用框架干货
06-29
db服务器连接mysql+redis高可用高性能框架干货1、使用c++语言，vs2019开发垮平台[windows和linux]连接MySql和redis框架。2、使用MySql持久化玩家数据，redis做玩家数据缓存层,redis不做数据持久化。mysql搭配redis...
第三节Redis高可用集群之水平扩展1
08-08
Redis 高可用集群是通过分布式方式提供数据存储和读写服务，确保在系统故障时能够自动切换，保持服务连续性。在 Redis 3.0 及以上版本中，引入了集群（Cluster）功能，它允许数据分片到多个节点，同时提供了故障转移...
Keepalived+redis高可用主从-Keepalived的配置
01-07
Keepalived+redis高可用主从，本技术文档主要是Keepalived的配置，redis主从配置可以看我的文章https://blog.csdn.net/qq_41709494/article/details/116382183
Redis 高可用架构最佳实践.ppt
09-13
Redis 是一个广泛应用于互联网行业的高性能键值存储系统，其高可用性是确保服务稳定的关键因素。本篇将探讨Redis的高可用架构最佳实践，主要涉及Redis Sentinel、Redis Master-Slave复制、Redis Cluster、Twemproxy...
Redis 实现原理或机制
Flying_Fish_roe的博客
09-07 733
Redis 的高性能、高可用性和灵活性来自其精巧的实现原理和机制。通过高效的内存管理、灵活的数据结构、强大的持久化机制、主从复制和集群功能，Redis 能够满足各种复杂的应用场景需求。无论是在缓存、会话管理、还是分布式存储领域，Redis 都能够提供卓越的性能和稳定性。
【苍穹外卖】Day 5 Redis、店铺营业状态接口
Yudiannann的博客
09-03 877
Redis是一个基于的 key-value 结构数据库运行在cmd下启动状态下，再测试：也可以在配置文件设置密码（4位密码不行）改为6位然后发现已经需要密码需要简化：安装管理客户端（但是需要先启动redis）
Redis基本类型常用命令练习
安晴晚风的博客
09-04 1176
目录一、String类型1. 使用Redis的String命令，如何设置一个键为"username"，值为"Tom"的键值对？2. 如何使用Redis的String命令获取键为"username"的值？3. 使用Redis的String命令，如何设置一个键为"age"，值为23的键值对，然后让age+1。4. 如何使用Redis的String命令同时设置多个键值对，例如：“key1"的值为"value1”，“key2"的值为"value2”？5. 使用Redis的String命令，如何获取键为"userna
Redis的incr命令引发的反序列化异常和ERR value is not an integer or out of range异常
m0_61891910的博客
09-03 484
在Java中使用inc命令的时候发现redis中的值被反序列化后居然不是数字,检查后发现可能是序列化器没对,在redis配置的地方将序列化器设置为。Jackson2JsonRedisSerializer后使用整成,贴上代码。
redis之list核心命令演示与细节探索
Java领域优秀创作者
09-04 778
移除并且得到集合中的最后一个元素,或者阻塞直到有一个元素(或者超时报错)count0时从左往右移除 count个。count = -2时从右往左删除2个v1。如果list存在,则从左边往里面添加元素。count = 2时从左往右删除2个v1。count = 0时删除全部的v1。从list中删除传入的元素。count=0时移除所有的。
Redis两种类型分区
Flying_Fish_roe的博客
09-07 670
水平分区，也称为Sharding，是最常见的 Redis 分区方法。这种分区方法的核心思想是将 Redis 的**键值对（key-value pairs）**按照一定的规则（例如哈希函数）分散到不同的 Redis 节点上。每个 Redis 实例保存数据集的一个子集，而不是整个数据集。通过这种方式，Redis 集群可以存储和管理更多数据，并且能够更好地处理高并发请求。垂直分区（Vertical Partitioning），又称为功能分区，是一种根据数据的不同功能或逻辑，将数据拆分到不同的 Redis 实例上。
如何在在Java中操作Redis
最新发布
几许的博客
09-07 964
前面我们讲解了Redis的常用命令，这些命令是我们操作Redis的基础，那么我们在java程序中应该如何操作Redis呢？这就需要使用Redis的Java客户端，就如同我们使用JDBC操作MySQL数据库一样。JedisLettuceRedissonSpring 对 Redis 客户端进行了整合，提供了 Spring Data Redis，在Spring Boot项目中还提供了对应的Starter，即 spring-boot-starter-data-redis。
Redis发布订阅PUB/SUB
OceanSky的专栏
09-02 510
Redis发布订阅PUB/SUB是一种消息通信模式，发送者PUB发送消息，订阅者SUB接收消息。Redis客户端可以订阅任意数量的频道，一个通道CHANNEL可以被多个客户端订阅，当一条消息发送到CHANNEL中去后所有订阅的客户端都会接收到此消息。
redis之zset命令学习
青青子衿
09-04 307
zset是一个不包含重复元素的字符串集合，且每个元素都会关联一个 double 类型的分数（score）。这使得有序集合既可以通过成员（member）来查询，也可以通过分数（score）来排序。以下是zset的一些简单命令。
配置教程：Keepalived实现Redis高可用主从架构
"Keepalived+redis高可用主从配置" 在构建高可用的Redis集群时，Keepalived是一个常用工具，它与Redis主从架构结合可以实现故障切换和负载均衡，确保服务的不间断和高效运行。以下是关于Keepalived和Redis主从配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值