Redis深度介绍及Redis集群

最新推荐文章于 2024-07-03 10:47:21 发布

繁星若渺

最新推荐文章于 2024-07-03 10:47:21 发布

阅读量197

点赞数

分类专栏：数据库文章标签： redis 数据库大数据

本文链接：https://blog.csdn.net/weixin_50344814/article/details/111342930

版权

数据库专栏收录该内容

10 篇文章 1 订阅

订阅专栏

一、Redis

1.1、Redis配置文件

■ 配置参数(/etc/redis/6379.conf)
● bind:监听的主机地址
● port: 端口
● daemonize yes:启用守护进程
● pidfile: 指定PID文件
● loglevel notice:日志级别
● logfile:指定日志文件

1.2、Redis命令工具

■ Redis 软件提供了多个命令工具，当Redis 安装时，所包含的软件工具会同时被安装到系统中，在系统中可以直接使用。这些命令工具的作用分别如下所示

1.21、 redis-server: 用于启动 Redis 的工具

[root@server3 ~]# ps aux | grep redis    #查看所有进程

在这里插入图片描述

1.22、 redis-benchmark: 用于检测Redis在本机的运行效率，用于压力测试

redi s-benchmark 是官方自带的Redis性能测试工具， 可以有效的测试Redis 服务的性能。 基本的测试语法为redi s-benchmark [option] [option value]
-h: 指定服务器主机名
-p: 指定服务器端口
-s: 指定服务器socket
-c: 指定并发连接数
-d: 以字节的形式指定SET/GET 值的数据大小
-k: 1=keep alive 0=reconnect 
 -r: SET/GET/INCR使用随机key, SADD使用随机值
-P: 通过管道传输<numreq>请求
-q: 强制退出redis，仅显示query/sec 值
--csv: 以csv格式输出
-l:生成循环,永久执行测试
-t:仅运行以逗号分隔的测试命令列表
-I: Idle模式。仅打开N个idle连接并等待
● 结合上述选项，可以针对某台Redis 服务器进行性能检测，如执行 redis-benchmark -h 192. 168. 100.42 -p 6379 -c 100 -n 100000 命令即可向IP地址为192. 168. 100.42、 端口为6379的Redis服务器发送100个并发连接与100000 个请求测试性能。
[root@server3 ~]# redis-benchmark -h 192.168.74.30 -p 6379 -c 100 -n 100000

在这里插入图片描述

1.23、 redis-check-aof : 修复AOF 持久化文件

1.24、 redis-check- rdb: 修复RDB持久化文件

1.25、redis-cli: 是Redis命令行工具

1.26、 redis-setinel: 是哨兵模式启动的工具

1.3、Redis 数据库常用命令

前面提到，Redis数据库采用key-value (键值对) 的数据存储形式。所使用的命令是set 与get 命令。
set:存放数据，基本的命令格式为set key value
get:获取数据，基本的命令格式为get key

1.4、Redis多数据库操作

■ Redis支持多数据库，默认支持16个数据库，0-15命名

■ 多数据库相互独立，互不干扰

■ 多数据库常用命令
● 多数据库间切换
● 多数据库间移动数据
● 清除数据库内数据

1.41、key相关命令

● keys:获取符合规则的键值列表
● exists: 判断键值是否存在
● del:删除当前数据库的指定key
● type:获取key对应的value值类型
● rename(覆盖) 1 renamenx (不覆盖) :对已有的key进行重命名
rename命令是对已有key进行重命名，其命 令格式为: rename 源key目标key，使用rename 命令进行重命名时， 无论目标key是否存在都进行重命名， 且源key的值会覆盖目标key的值。在实际使用过程中， 建议先用 exists命令查看目标key是否存在，然后再决定是否执行rename 命令，以避免覆盖重要数据
● dbsize:查看当前数据库中key的数目

1.5、多数据库常用命令

● 多数据库间切换
Redis 支持多数据库， Redis在没有任何改动的情况下默认包含16个数据库，数据库名称是用数字0-15来依次命名的。使用Select 命令可以进行Redis 的多数据库之间的切换，命令格式为selectindex,其中index表示数据库的序号。而使用redis-cli 连接Redis数据库后，默认使用的是序号为0的数据库。

192. 168. 74. 30:6379>select 10       //切换至序号为10的数据库
OK
192. 168. 74. 30:6379[10]>select 15 //切换至序号为15的数据库
OK
192. 168. 74. 30:6379[15]>select 0 //切换至序号为0的数据库
OK
192. 168. 74. 30:6379>

● 多数据库间移动数据
Redis 的多数据库在一定程度.上是相对独立的，例如在数据库0上面存放的a1的数据，在其它的1-15的数据库上是无法查看到的。

192. 168. 74. 30:6379>set a1 100
OK
192. 168. 74. 30: 6379>get a1
"100"
192. 168. 74. 30:6379>select 1
OK
192. 168. 74. 30:6379[1]>get a1

● Redis 数据库提供了一个move 的命令，可以进行多数据库的数据移动。命令的基本语法格式为"move key dbindex"。其中“key“表示当前数据库的目标键，"dbindex "表示目标数据库的序号。

● 清除数据库内数据
Redis数据库的整库数据删除主要分为两个部分: 清空当前数据库数据，使用FLUSHDB命令实现；清空所有数据库的数据，使用FLUSHALL 命令实现。但是，数据清空操作比较危险，生产环境下一般不建议使用。

1.6、Redis持久化

■ 持久化概述
Redis是运行在内存中，内存中的数据断电丢失，为了能够重用Redis数据，或者防止系统故障，我们需要将Redis中的数据写入到磁盘空间中，即持久化

■ 持久化分类
RDB方式: 创建快照的方式获取某一时刻Redis中所有数据的副本
AOF方式: 将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化

■ Redis的默认持久化方式

■ 默认文件名dump.rdb

■ 触发条件
● 在指定的时间间隔内，执行指定次数的写操作(配置文件控制)
● 执行save或者是bgsave (异步) 命令
● 执行flushall命令，清空数据库所有数据
● 执行shutdown命令，保证服务器正常关闭且不丢失任何数据

■ 优缺点
● 适合大规模的数据恢复
● 如果业务对数据完整性和一致性要求不高，RDB是很好的选择
● 数据的完整性和一致性不高
● 备份时占用内存

■ 通过RDB文件恢复数据
● 将dump.rdb文件拷贝到redis的安装目录的bin目录下，重启redis服务即可

■ 配置文件选项

vim /etc/redis/6379.conf
save 900 1               #900秒之内至少一次写操作
save 300 10          #300秒之内至少发生10次写操作
save 60 10000      #60秒之内发生至少10000次写操作，只要满足其都会触发快照操作，注释所有的save项表示关闭RDB
dbfilename dump.rdb        #RDB文件路径
dir /var/lib/redis/6379        #是否进行压缩
rdbcompression yes

● Redis 是一种高级key-value 数据库。它跟memcached 类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis 也可以被看成是一个数据结构服务器。
● Redis 的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”); 也可以把每次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。
● 由于Redis的数据都存放在内存中，如果没有配置持久化， redis 重启后数据就全丢失，于是需要开启redis 的持久化功能，将数据保存到磁盘上，当redis 重启后，可以从磁盘中恢复数据。 redis提供两种方式进行持久化，一种是RDB持久化(原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB 持久化)，另外种是AOF (append only file)持久化(原理是将Reids 的操作日志以追加的方式写入文件)。

1.61、RDB和AOF区别

● RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘，实际操作过程是fork一个子进程，先将数据集写入临时文件，写入成功后，再替换之前的文件，用二进制压缩存储。
● AOF持久化以日志的形式记录服务器所处理的每一个写、删除操作，查询操作不会记录，以文本的方式记录，可以打开文件看到详细的操作记录。

1.62、AOF持久化

■ Redis默认不开启

■ 弥补RDB的不足(数据的不一致性)

■ 采用日志的形式来记录每个写操作，并追加到文件中

■ Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

■ 根据AOF文件恢复数据
● 将appendonly.aof文件拷贝到Redis的安装目录的bin目录下，重启Redis服务即可

■ 配置文件选项

vim /etc/redis/6379.conf
appendonly yes                                                     #开启AOF持久化
appendfilename "appendonly.aof"                        #AOF文件名称
# appendfsync always        #always:同步持久化，每次发生数据变化会立刻写入磁盘
appendfsync everysec        #everysec:默认推荐，每秒异步记录一次(默认值)
# appendfsync no                 #no:不同步，交给操作系统决定如何同步
aof-load-truncated yes         #忽略最后一条可能存在问题的指令

■ AOF的重写机制
● AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
● 当AOF文件的大小超过所设定的阈值时，Redis就会对AOF文件的内容压缩

■ AOF重写的原理

●Redis会fork出一条新进程，读取内存中的数据(并没有读取旧文件)，并重新写到一个临时文件中，最后替换旧的aof文件

■ AOF的重写配置

vim /etc/redis/6379.conf
#在日志进行BGREWRITEAOF时，如果设置为yes表示新写操作不进行同步fsync,只是暂存在缓冲区里，避免造成磁盘IO操作冲突，等重写完成后在写入。Redis中默认为no
no-appendfsync-on-rewrite no
#当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作
auto-aof-rewrite-percentage 100
#当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动
Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF
auto-aof-rewrite-min-size 64mb

1.7、Redis性能管理

■ 内存碎片率
● 操系统分配的内存值used_memory_rss除以Redis使用的内存值used_ memory计算得出
● 内存碎片是由操作系统低效的分配/回收物理内存导致的
◆不连续的物理内存分配
● 跟踪内存碎片率对理解Redis实例的资源性能是非常重要的
◆ 内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
◆ 内存碎片率超过1.5,说明Redis消耗了实际需要物理内存的150%，其中50%是内存碎片率
◆ 内存碎片率低于1的，说明Redis内存分配超出了物理内存，操作系统正在进行内存交换

■ 内存使用率
● redis实例的内存使用率超过可用最大内存，操作系统将开始进行内存与swap空间交换
● 避免内存交换
◆ 针对缓存数据大小选择
◆ 尽可能的使用Hash数据结构
◆ 设置key的过期时间

■ 回收key

● 保证合理分配redis有限的内存资源
● 当达到设置的最大阀值时，需选择一种key的回收策略
◆ 默认情况下回收策略是禁止删除
◆ redis.conf配置文件中修改maxmemory-policy属性值
volatile-lru:使用L RU算法从已设置过期时间的数据集合中淘汰数据
volatile-ttl: 从已设置过期时间的数据集合中挑选即将过期的数据淘汰
volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
allkeys-lru: 使用LRU算法从所有数据集合中淘汰数据
allkeys-random:从数据集合中任意选择数据淘汰
no-enviction: 禁止淘汰数据

二、案例：Redis集群

■ Redis集群介绍
● Redis集群是一个提供在多个Redis间节点间共享数据的程序集
● Redis集群并不支持处理多”个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis那样的性能，在高负载的情况下可能会导致不可预料的错误
● Redis集群通过分区来提供一定程度的可用性，在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令

■ Redis集群的优势
● 自动分割数据到不同的节点上
● 整个集群的部分节点失败或者不可达的情况下能够继续处理命令

■ Redis集群的实现方法
● 有客户端分片
● 代理分片
● 服务器端分片

■ Redis-Cluster数据分片
● Redis集群没有使用一致性hash, 而是引入了哈希槽概念
● Redis集群有16384个哈希槽
● 每个key通过CRC16校验后对16384取模来决定放置槽
● 集群的每个节点负责一部分哈希槽
● 以3个节点组成的集群为例
◆ 节点A包含0到5500号哈希槽
◆ 节点B包含5501到11000号哈希槽
◆ 节点C包含11001到16383号哈希槽
● 支持添加或者删除节点
◆ 添加删除节点无需停止服务
◆ 例如
如果想新添加个节点D,需要移动节点A, B, C中的部分槽到D上
如果想移除节点A，需要将A中的槽移到B和C节点上，再将没有任何槽的A节点从集群中移除

■ Redis-Cluster的主从复制模型
●集群中具有A，B, C三个节点，如果节点B失败了，整个集群就会因缺少5501-11000这个范围的槽而不可用
●为每个节点添加一个从节点A1, B1, C1,整个集群便有三个master节点和三个slave节点组成，在节点B失败后，集群便会选举B 1为新的主节点继续服务
● 当B和B1都失败后，集群将不可用

■ 单节点Redis服务器带来的问题
● 单点故障，服务不可用
● 无法处理大量的并发数据请求
● 数据丢失一大灾难

■ 解决方法
● 搭建Redis集群

■ 案例拓扑图
在这里插入图片描述

2.1、集群全部安装Redis-5.0.4.tar.gz安装包，Redis-server1添加redis-3.2.0.gem

选择工具，发送键输入到所有会话（同步安装）
[root@redis-server1 ~]# tar zxvf redis-5.0.4.tar.gz
[root@redis-server1 redis-5.0.4]# make     #编译
[root@redis-server1 redis-5.0.4]# make PREFIX=/usr/local/redis install   #安装
[root@redis-server1 redis-5.0.4]# ln -s /usr/local/redis/bin/* /usr/local/bin/   #命令链接
[root@redis-server1 redis-5.0.4]# cd
[root@redis-server1 ~]# cd redis-5.0.4/utils
[root@redis-server1 utils]# ./install_server.sh   #安装脚本
[root@redis-server1 utils]# netstat -anpt | grep redis 
[root@redis-server1 utils]# cd
[root@redis-server1 ~]# vi /etc/redis/6379.conf  #进入配置文件
logfile /var/ log/redis_6379.log    #不需要改
daemonize yes        #不需要改
port 6379                 #不需要改
cluster-enabled yes     #前面的#号去掉
appendonly yes           #开启AOF持久化
cluster-config-file nodes-6379.conf    #前面的#号去掉
cluster-node-timeout 15000   #前面的#号去掉
cluster-require-full-coverage yes    #前面的#号去掉yes改成no

2.2、关掉同步会话，一次进入配置文件，添加各自IP

bind 127.0.0.1   #删除默认IP，添加各自主机IP
工具—输入到所有会话
[root@redis-server1 ~]# /etc/init.d/redis_6379 stop
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
[root@redis-server1 ~]# /etc/init.d/redis_6379 start
Starting Redis server...
[root@redis-server1 ~]# 
取消会话同步
[root@redis-server1 ~]# yum -y install ruby rubygems
[root@redis-server1 ~]# gem install redis-3.2.0.gem
[root@redis-server1 ~]#  redis-cli --cluster create --cluster-replicas 1 192.168.74.10:6379 192.168.74.20:6379 192.168.74.30:6379 192.168.74.40:6379 192.168.74.50:6379 192.168.74.60:6379       #创建群集

在这里插入图片描述

2.3、进行群集测试

[root@redis-server1 ~]# redis-cli -h 192.168.74.10 -p 6379 -c
192.168.74.10:6379>      #连接到本地主机
[root@redis-server1 ~]# redis-cli -h 192.168.74.10 -p 6379 -c
192.168.74.10:6379> set aa 88      #设置键值
OK      
[root@redis-server2 ~]# redis-cli -h 192.168.74.20 -p 6379 -c
192.168.74.20:6379> get aa
-> Redirected to slot [1180] located at 192.168.74.10:6379
"88"             
192.168.74.10:6379>    
#重新登录新的主，获取键值，显示在192.168.74.10上，并且显示哈希槽位置
192.168.74.20:6379> cluster info   #查看群集信息

在这里插入图片描述

192.168.74.20:6379> cluster nodes  #查看节点信息

在这里插入图片描述

繁星若渺

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Redis深度介绍及Redis集群

目录一、Redis1.1、Redis配置文件1.2、Redis命令工具1.21、 redis-server: 用于启动 Redis 的工具1.22、 redis-benchmark: 用于检测Redis在本机的运行效率，用于压力测试1.23、 redis-check-aof : 修复AOF 持久化文件1.24、 redis-check- rdb: 修复RDB持久化文件1.25、redis-cli: 是Redis命令行工具1.26、 redis-setinel: 是哨兵模式启动的工具1.3、Redis 数
复制链接

扫一扫

专栏目录