Redis 基础集群工具

最新推荐文章于 2024-07-08 17:33:05 发布

啦啦拉德玛西亚

最新推荐文章于 2024-07-08 17:33:05 发布

阅读量273

点赞数

分类专栏： Redis

本文链接：https://blog.csdn.net/dingqinghui/article/details/112514416

版权

Redis 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

redis

1.1 string

setex 设定超时时间后重新set 超时时间会失效
key命名规则：表名：主键名：主键值：字段名

1.2 list

底层实现：双向链表
blpop：阻塞取等待timeout
应用场景：多用于队列等

1.3 set

底层：map存储只使用key value为nil
spop：随机并移除
srandmember：随机指定数量不移除
集合交并补

1.4 注意

使用redis时应只用来保存数据不进行数据的校验等业务逻辑操作，降低redis与业务的耦合性

2.启动基础配置

2.1 启动

2.1.1单机启动

redis-server -p 6379

2.1.2 集群启动

先逐个启动单节点然后通过redis-cli --cluster create 47.235.228.98:9001 47.235.228.98:9002 将节点连接成为集群

2.2配置

#### daemonize：是否后台启动
#### logfile：日志文件名

################ rdb相关 ########################
##### dir:日志文件 持久化文件目录
##### dbfilename:数据库文件名
##### rdbcompression：数据是否压缩 压缩会增加CPU压力 但是减少占用的磁盘空间
##### rdbchecksum：加载过程校验文件 防止文件损坏
################ rdb相关 ########################

#### maxmemory:最大物理内存大小 0不受限制
#### maxmemory-samples:数据逐出 每次选取检测的数量
#### maxclients:客户端最大连接数 达到上限关闭新连接
#### timeout:闲置等待时间 超时关闭连接  0关闭功能
#### include:继承配置文件
#### requirepass:密码
#### masterauth:从连主的 主密码

3.持久化

3.1 rdb

将内存中所有数据进行存档一次

3.1.1触发条件

自动执行：
save second change n秒m个key 发生变化则进行存储（在配置文件中配置）
使用bgsave 进行保存
save：save指令阻塞线程，直到rdb完成，不建议使用
bgsave： redis fork 子进程进行rdb 不会阻塞
shutdown save

3.1.2优点

二进制文件存储率高
恢复速度快
用于容灾定时备份

3.1.3缺点

容易丢失数据
ork子进程处理牺牲性能

3.2 aof

使用文件记录每次的操作记录，用于数据恢复。

3.2.1 aof文件写入策略

always：每次写入每条执行都要执行磁盘写入操作效率低准确性高
eversec：每秒写入一次宕机丢失一秒数据推荐
no：系统控制写入时机不可控不推荐

3.2.1 配置

appendonly：是否开启
appendfsync：aof同步策略

3.2.3 aof文件重写

整理aof文件将多条指令操作合并成一条最终指令，降低aof文件大小，提高数据恢复效率
重写方式：
手动重写
bgrewriteaof
自动重写

4.事务

4.1 语法

multi exec discard

4.2 注意

中有一个命令有语法错误则事务自动被取消
执行错误错误语句命令不会执行其他命令可以执行
无回滚

5.主从复制

5.1.概述

一主多从，每台从服务器保存一份数据。主写，从读。主向从进行数据同步。

5.2作用

读写分离
热备份
宕机快速恢复

5.3 原理流程

5.3.1 建立连接

slave主动与master建立连接，slave保存master ip port，master保存slave port。

5.3.2 初始数据同步

全量复制：
slave->master:请求数据
master：执行bgsave，创建rdb快照。创建命令缓冲区，保存后续命令。
master->slave:同步rdb快照
slave：清空本地数据，执行rdb恢复数据。

增量复制：
slave->master:通知rdb完成
master->slave:同步命令缓冲区内容
slave：执行bgrewrite，恢复数据

注意事项
master：
命令缓冲区会满，导致命令丢失.重复进行全量复制，可能导致死循环
repl-backlog-size：命令缓冲区大小

slave：
多个salve同时请求同步，导致master带宽不足。
数据同步阶段，slave不能写。
slave-server-stale-data：yes | no

5.3.3 命令同步

slave->master:replconf ack runid offset
master:runid不同或offset不在命令缓冲区中执行全量复制。否则发送发送缓冲区中内容和offset
master->slave:缓冲区内容+offset

5.3.4 心跳机制

master配置：
repl-ping-slave-period 10：每十秒一次用于检测slave存活
min-slaves-to-write 2：slave存活搓两小于2时禁止master写
min-slaves-max-lag 8：slave时延都超过8禁止master写
slave：
每秒一次，发送offset，用于检测master存活，和数据同步

5.3.5 runid，复制缓冲区,offset

runid每次服务器启动时生成的值，用于标识一台redis服务器
服务器在使用aof持久化，或作为master时创建，先入先出的队列，存储服务器所有执行过的命令，并用序列号标识
offset命令缓冲区中的序列号

5.4问题

5.4.1 频繁全量复制

master重启导致runid不同
解决：redis内部进行优化，master会保存runid+offset到rdb中

5.4.2 offset不在缓冲区

解决：更改命令缓冲区大小

5.4.3 数据不同步

网络延迟导致数据不同步，从不同slave中数据不一致
解决：部署同一机房

6.哨兵模式

6.1 作用

对主从模式，master宕机导致集群无法进行写操作。哨兵模式用于监控整个集群的状态，当主节点宕机时选举出新的master，并进行通知。

6.2 配置

详见sentinel.conf 文件

6.3 原理

6.3.1 初始

sentinel连接master，向master获取信息(slave sentinels等)
sentinel依据从master获取的信息，连接slave和其他sentinel

6.3.2通知

经过初始阶段，各个sentinel直接相互连通。每个sentinel定时获取集群(master slave)中的工作状态信息,然后同步给其他sentinel。

6.3.3故障转移

发现:
sentinel通过ping发现master断开连接，当有n个sentinel发现master断开连接则认为master宕机。
选举:
sentinel之间选举出一个"领导者",处理这次宕机。
转移:
被选举出的sentinel依据算法从slave中选举一个作为master，并将新master信息通知给其他slave和master