redis使用详解篇-2

最新推荐文章于 2023-08-10 19:27:41 发布
最新推荐文章于 2023-08-10 19:27:41 发布
阅读量133 收藏
点赞数
分类专栏： Redis 神秘大陆 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fvdfsdafdsafs/article/details/88323899
版权

redis持久化机制

redis提供了两种持久化策略

RDB

RDB的持久化策略： 按照规则定时讲内从的数据同步到磁盘

snapshot

redis在指定的情况下会触发快照

自己配置的快照规则

save

save 900 1 当在900秒内被更改的key的数量大于1的时候，就执行快照

save 300 10

save 60 10000

save或者bgsave

save: 执行内存的数据同步到磁盘的操作，这个操作会阻塞客户端的请求

bgsave: 在后台异步执行快照操作，这个操作不会阻塞客户端的请求

执行flushall的时候

清除内存的所有数据，只要快照的规则不为空，也就是第一个规则存在。那么redis会执行快照

执行复制的时候

保存在/bin目录的 dump.rdb

快照的实现原理

1：redis使用fork函数复制一份当前进程的副本(子进程)

2：父进程继续接收并处理客户端发来的命令，而子进程开始将内存中的数据写入硬盘中的临时文件

3：当子进程写入完所有数据后会用该临时文件替换旧的RDB文件，至此，一次快照操作完成。

注意：redis在进行快照的过程中不会修改RDB文件，只有快照结束后才会将旧的文件替换成新的，也就是说任何时候RDB文件都是完整的。 这就使得我们可以通过定时备份RDB文件来实现redis数据库的备份， RDB文件是经过压缩的二进制文件，占用的空间会小于内存中的数据，更加利于传输。

RDB的优缺点

  1. 使用RDB方式实现持久化，一旦Redis异常退出，就会丢失最后一次快照以后更改的所有数据。这个时候我们就需要根据具体的应用场景，通过组合设置自动快照条件的方式来将可能发生的数据损失控制在能够接受范围。如果数据相对来说比较重要，希望将损失降到最小，则可以使用AOF方式进行持久化

  2. RDB可以最大化Redis的性能：父进程在保存RDB文件时唯一要做的就是fork出一个子进程，然后这个子进程就会处理接下来的所有保存工作，父进程无序执行任何磁盘I/O操作。同时这个也是一个缺点，如果数据集比较大的时候，fork可以能比较耗时，造成服务器在一段时间内停止处理客户端的请求；

实践

修改redis.conf中的appendonly yes ; 重启后执行对数据的变更命令， 会在bin目录下生成对应的.aof文件， aof文件中会记录所有的操作命令

如下两个参数可以去对aof文件做优化

auto-aof-rewrite-percentage 100 表示当前aof文件大小超过上一次aof文件大小的百分之多少的时候会进行重写。如果之前没有重写过，以启动时aof文件大小为准

auto-aof-rewrite-min-size 64mb 限制允许重写最小aof文件大小，也就是文件大小小于64mb的时候，不需要进行优化

AOF

AOF可以将Redis执行的每一条写命令追加到硬盘文件中，这一过程显然会降低Redis的性能，但大部分情况下这个影响是能够接受的，另外使用较快的硬盘可以提高AOF的性能

实践

默认情况下Redis没有开启AOF（append only file）方式的持久化，可以通过appendonly参数启用，在redis.conf中找到 appendonly yes

开启AOF持久化后每执行一条会更改Redis中的数据的命令后，Redis就会将该命令写入硬盘中的AOF文件。AOF文件的保存位置和RDB文件的位置相同，都是通过dir参数设置的，默认的文件名是apendonly.aof. 可以在redis.conf中的属性 appendfilename appendonlyh.aof修改

Auto-aop-rewrite-percentage 100 表示当前aop文件大小超过上一次aof文件大小的百分之多少的时候回进行重写，如果之前没有重写过，以启动时aof文件大小为准

Auto-aop-rewrite-min-size 64mb 限制允许重写最小aof文件大小，也就是文件小于64mb的时候，不需要进行优化

aof重写的原理

Redis 可以在 AOF 文件体积变得过大时，自动地在后台对 AOF 进行重写： 重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的，因为 Redis 在创建新 AOF 文件的过程中，会继续将命令追加到现有的 AOF 文件里面，即使重写过程中发生停机，现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件创建完毕，Redis 就会从旧 AOF 文件切换到新 AOF 文件，并开始对新 AOF 文件进行追加操作。AOF 文件有序地保存了对数据库执行的所有写入操作， 这些写入操作以 Redis 协议的格式保存， 因此 AOF 文件的内容非常容易被人读懂， 对文件进行分析（parse）也很轻松

同步磁盘数据

redis每次更改数据的时候， aof机制都会将命令记录到aof文件，但是实际上由于操作系统的缓存机制，数据并没有实时写入到硬盘，而是进入硬盘缓存。再通过硬盘缓存机制去刷新到保存到文件

appendfsync always

每次执行写入都会进行同步 ，这个是最安全但是是效率比较低的方式

appendfsync everysec 每一秒执行

appendfsync no 不主动进行同步操作，由操作系统去执行，这个是最快但是最不安全的方式

aof文件损坏以后如何修复

服务器可能在程序正在对 AOF 文件进行写入时停机， 如果停机造成了 AOF 文件出错（corrupt）， 那么 Redis 在重启时会拒绝载入这个 AOF 文件， 从而确保数据的一致性不会被破坏。

当发生这种情况时， 可以用以下方法来修复出错的 AOF 文件：

  1. 为现有的 AOF 文件创建一个备份。

  2. 使用 Redis 附带的 redis-check-aof 程序，对原来的 AOF 文件进行修复。

redis-check-aof --fix

重启 Redis 服务器，等待服务器载入修复后的 AOF 文件，并进行数据恢复。

RDB 和 AOF ,如何选择

一般来说,如果对数据的安全性要求非常高的话，应该同时使用两种持久化功能。如果可以承受数分钟以内的数据丢失，那么可以只使用 RDB 持久化。有很多用户都只使用 AOF 持久化， 但并不推荐这种方式： 因为定时生成 RDB 快照（snapshot）非常便于进行数据库备份， 并且 RDB 恢复数据集的速度也要比 AOF 恢复的速度要快 。

两种持久化策略可以同时使用，也可以使用其中一种。如果同时使用的话， 那么Redis重启时，会优先使用AOF文件来还原数据

集群

是一个高可用集群，但是不是一个高性能集群，存在木板效应

复制（master、slave）

img

配置过程

修改11.140和11.141的redis.conf文件，增加 slaveof masterip masterport

slaveof 192.168.11.138 6379

主从复制有一个复制偏移量，如果丢失，偏移量不一样，会执行增量同步，排查数据不一致方式：可以知道当前集群节点的状态信息，基于状态信息来判断

实现原理

  1. slave第一次或者重连到master上以后，会向master发送一个SYNC的命令

  2. master收到SYNC的时候，会做两件事

a) 执行bgsave（rdb的快照文件）

b) master会把新收到的修改命令存入到缓冲区

主从数据不一致解决办法：

直接复制主的rdb文件就行了，让其做一个恢复

缺点
没有办法对master进行动态选举

如何知道主从数据不一致，主从建立连接的方式是什么方式

复制的方式

基于rdb文件的复制（第一次连接或者重连的时候）

​ 如果master没有启用rdb，那么第一次链接的时候，master会启用一个rdb快照文件，同步变成了一个数据快照，那么这个文件是一个被动方式

无硬盘复制

image-20190122224933560

不通过rdb去复制，直接发送数据

增量复制

PSYNC master run id. offset

Slave-server-stale-data yes 保证同步过程中，原始数据在同步的时候，读取历史数据不会有脏数据，必须完成master同步之后才能做

哨兵机制

哨兵也能相互监控

sentinel.conf

sentinel

  1. 监控master和salve是否正常运行

  2. 如果master出现故障，那么会把其中一台salve数据升级为master

image-20190122235839710

2表示至少两台哨兵决定启用

image-20190122235910165

多少秒无法响应确定为shutdown

启动哨兵之后，会重写redis.conf的slave指定master

集群（redis3.0以后的功能）

根据key的hash值取模 服务器的数量 。

hash

集群的原理

Redis Cluster中，Sharding采用slot(槽)的概念，一共分成16384个槽，这有点儿类似前面讲的pre sharding思路。对于每个进入Redis的键值对，根据key进行散列，分配到这16384个slot中的某一个中。使用的hash算法也比较简单，就是CRC16后16384取模。Redis集群中的每个node(节点)负责分摊这16384个slot中的一部分，也就是说，每个slot都对应一个node负责处理。当动态添加或减少node节点时，需要将16384个槽做个再分配，槽中的键值也要迁移。当然，这一过程，在目前实现中，还处于半自动状态，需要人工介入。Redis集群，要保证16384个槽对应的node都正常工作，如果某个node发生故障，那它负责的slots也就失效，整个集群将不能工作。为了增加集群的可访问性，官方推荐的方案是将node配置成主从结构，即一个master主节点，挂n个slave从节点。这时，如果主节点失效，Redis Cluster会根据选举算法从slave节点中选择一个上升为主节点，整个集群继续对外提供服务。这非常类似服务器节点通过Sentinel监控架构成主从结构，只是Redis Cluster本身提供了故障转移容错的能力。

slot（槽）的概念，在redis集群中一共会有16384个槽，

根据key 的CRC16算法，得到的结果再对16384进行取模。 假如有3个节点

node1 0 5460

node2 5461 10922

node3 10923 16383

节点新增

node4 0-1364,5461-6826,10923-12287

删除节点

先将节点的数据移动到其他节点上，然后才能执行删除

市面上提供了集群方案

  1. redis shardding 而且jedis客户端就支持shardding操作 SharddingJedis ； 增加和减少节点的问题； pre shardding

3台虚拟机 redis 。但是我部署了9个节点 。每一台部署3个redis增加cpu的利用率

9台虚拟机单独拆分到9台服务器

  1. codis基于redis2.8.13分支开发了一个codis-server

  2. twemproxy twitter提供的开源解决方案

密码设置

Requirepass foobared

bind指定某个ip能访问

缓存更新

缓存和数据库如何保持数据一致性

方案1（错误）：先删除缓存，后更新数据库,如果存在并发操作，一个更新数据库，一个查询，更新删除缓存后，查询没有命中缓存，更新操作的数据没有更新，缓存又load了老的数据，导致脏数据

不同存储，使用rpc协议，二次提交

方案二：先更新数据库，更新成功后，让缓存失效

方案三：更新数据只更新缓存，不更新数据库，然后异步调用批量更新数据库

缓存击穿

缓存穿透

布隆过滤器

给不存在的数据统一设置key

统一设置过期时间

缓存击穿

热点数据缓存，在某一个时刻有瞬时的流量进来，刚好大量缓存过期了，导致所有的请求流量进入到数据库，造成数据库的瞬间压力

使用互斥锁，当某个key的缓存失效之后，不是立刻load数据，而是使用setnx设置锁，让后置操作变成排队等待的方式，来缓解

缓存失效

​ key的过期时间设置的是一样的， 导致db的压力全部进入到db

黄金时代的架构之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis++使用说明,windows下编译redis-plus-plus
06-13
通过这篇文章，我们可以了解Redis++的组件结构和编译过程，从而更好地掌握Redis++的使用方法。 Redis++是Redis的C++版本，它提供了Redis的所有功能，并且可以与Redis服务器集成。Redis++可以用于各种应用场景，包括...
Redis学习笔记(四):配置文件详细说明(redis-3.2)
qq_26639561的博客
11-30 1741
目录简介开头说明INCLUDESNETWORKbindprotected-modeporttcp-backlogUnix socketTimeoutTCP keepaliveGENERALdaemonizesupervisedPID fileloglevellogfilesyslog-enabledsyslog-identdatabasesSNAPSHOTTINGsavestop-writes-on-bgsave-errorrdbcompressionrdbchecksumdbfilenamedirREPL
redis配置文件中slave-serve-stale-data的解释
码农博士的博客
05-08 1万+
redis.conf文件中可以看到slave-serve-stale-data这个参数，作用是什么？ 原文解释： # When a slave loses its connection with the master, or when the replication # is still in progress, the slave can act in two different ways...
一篇让你了解Redis同步--详解全部
Recently祝祝的博客
03-24 3530
故障修复：主节点宕机的时候，其他节点依然可以提供服务；负载均衡：主节点提供写服务，从节点提供读服务，分担压力；高可用的实现：是哨兵和cluster实施的基础主从怎么保持一致性？Redis提供了主从库的形式，来保持数据副本的一致性，主从库之间采用读写分离的方式采用的是读写分离的方式读操作：主、从库都可以执行；写操作：主库先执行完，在同步到字库中。读写分离的目的？为了避免写操作的时候主从服务器都在执行，每次修改都发送到主从实例上，就会造成实例副本数据不一致的现象。
Redis主从+哨兵
weixin_38367535的博客
07-20 287
哨兵为redis提供高可用性 高可用性通过以下功能实现： 监控：哨兵不断检查master和slave运行状态 通知：当某台redis示例发生问题，可以通过API通知系统管理员和其他的应用程序 自动故障转移：当master运行不正常，哨兵会启用故障转移进程，将一个slave升级为master，应用程序使用redis服务端通知的新地址 配置提供者：客户端连接到哨兵请求当前可靠的master的地址，如果发生故障，哨兵报告新地址。 两台机器三个节点 redis主要用的是内存，所以考虑性能的话内存大一点
redis.conf,redis配置详解
longxibendi的专栏
04-06 4444
from: https://github.com/antirez/redis/blob/unstable/redis.conf#L481   # Redis configuration file example   # Note on units: when memory size is needed, it is possible to speci
Redis主从复制进阶常见问题解决
qq_30358827的博客
01-12 798
Redis主从复制进阶常见问题解决 在还没讲哨兵之前，我自己先列举了几个比较容易遇到的问题，并且可以手动人为的去控制。 1.复制数据延迟 主从复制延迟多少都会有的，只能减轻 可以通过 info replication 的 offset 指标进行排查监控偏移量 offset 。对于无法容忍大量延迟场景，可以编写外部监控程序监听主从节点的复制偏移量，当延迟较大时触发报警或者通知客户端避免读取延迟过高的从节点 同时从节点的 slave-serve-stale-data 参数也与此有关，它控制这种情况下从节
详解java之redis篇(spring-data-redis整合)
08-31
本篇文章主要介绍了java之redis篇，主要详细的介绍了spring-data-redis整合，有兴趣的可以了解一下。
Redis介绍和使用场景详解
08-27
Redis介绍和使用场景详解 在这篇文章中，我们主要介绍了Redis的介绍和使用场景，并对其进行了详细的分析和比较。下面是相关的知识点： 1. 持久化数据库的缺点 关系型数据库，如Mysql、Oracle和SqlServer等，在开发...
redis40-cluster-config.zip
06-17
本篇文章将深入探讨 Redis 4.0 集群的配置与使用，帮助你理解如何构建和管理高可用、可扩展的分布式数据存储解决方案。 一、Redis 集群的概念 Redis 集群（Cluster）是一种分布式架构，它可以将数据分布在多个节点...
redis 使用详解
08-18
因为redis 本事的类库 没有函数说明，使用起来很是不变，在偶然的情况下看到一篇文章，特意分享给大家 事实上，IRedisClient里面的很多方法，其实就是Redis的命令名。只要对Redis的命令熟悉一点就能够非常快速地...
【Redis】redis配置文件和持久化
最新发布
别倒在黎明之前的博客
08-10 534
官方推荐两个都启用，如果对数据不敏感，可以选单独用RDB，不建议单独用 AOF，因为可能会出现Bug，如果只是做纯内存缓存，可以都不用。
Redis——配置文件 redis.conf
时光·漫步的博客
07-25 4903
INCLUDES包含 和我们的Struts2配置文件类似，可以通过includes包含，redis.conf可以作为总闸，包含其他 NETWORK网络 bind 指定redis只接收来自于该IP地址的请求，如果不进行设置，那么将处理所有请求 port 默认值：port 6379。指定redis运行的端口，默认是6379。 tcp-backlog 默认值：tcp-backlog 511。设置tcp的backlog，backlog其实是一个连接队列，backlog队列总和=未完成三次..
Redis详解与常见问题解决方案
m0_67402236的博客
08-24 559
15、设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。16、指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区。
Redis配置文件详解
热门推荐
脑袋不好使
11-28 6万+
redis是一款开源的、高性能的键-值存储（key-value store），和memcached类似，redis常被称作是一款key-value内存存储系统或者内存数据库，同时由于它支持丰富的数据结构，又被称为一种数据结构服务器（data structure server）。 编译完redis，它的配置文件在源码目录下 redis.conf  ，将其拷贝到工作目录下即可使用，下面具体解释r
try redis (五) -- master -slave 主从复制
wei_ya_wen的专栏
11-15 4439
redis 自带的replication 的一个自我学习的笔记。
Redis系列-配置文件小结
心灵净土
03-15 3万+
如果不指定配置文件，redis也可以启动，此时，redis使用默认的内置配置。不过在正式环境，常常通过配置文件【通常叫redis.conf】来配置redis。 redis.conf配置格式如下： keyword argument1 argument2 ... argumentN redis.conf配置参数： 1）daemonize on|yes redis默认不是以守护进程的方
Redis源码分析：主从复制
yfk的专栏
02-06 1万+
源码版本：redis 2.4.4 redis的主从复制实现简单却功能强大，其具有以下特点： 1. 一个master支持多个slave连接，slave可以接受其他slave的连接 2. 主从同步时，master和slave都是非阻塞的 redis主从复制可以用来： 1. data redundancy 2. slave作为master的扩展，提供一些read-only的服务 3.
redis配置文件
一起来氪金
12-29 5189
  文章目录 Redis配置文件解析 Redis 3.2.100 配置文件解析 Redis 5.0.0 配置文件解析 Redis配置文件解析 Redis 3.2.100 配置文件解析 # redis版本 3.2.100 # 如果想要使用到配置文件，Redis服务必须以配置文件的路径作为第一个参数启动。如： ./redis-server /path/to/redis.c...
"Redis命令大全详解-超详细教程
Redis命令大全是一篇超详细教程，它包括了Redis的基本命令及常识、Key值命令、String（字符串）类型命令、Hash（哈希表）类型命令、List（集合）类型命令、Set（无序集合）类型命令、SortedSet（有序集合）类型命令...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值