Nosql之redis集群

redis 数据库常用命令

连接本地数据库

[root@server1 ~]# /usr/local/redis/bin/redis-cli 
127.0.0.1:6379> 

连接远程数据库

[root@server1 ~]# redis-cli -h 192.168.188.10 -p 6379
192.168.188.10:6379> 

Redis 命令工具

Redis 软件提供了多个命令工具，当Redis安装时，所包含的软件工具会同时被安装到系统中，在系统中可以直接使用。这些命令工具的作用分别如下所示。
redis-server:
用于启动 Redis的工具
redis-benchmark:
用于检测 Redis在本机的运行效率
redis-check-aof:
修复AOF持久化文件
redis-check-rdb:
修复RDB 持久化文件
redis-cli:
是Redis命令行工具
redis-setinel:
是哨兵模式启动的工具
本小节只讲解redis-cli、 redis-benchmark命令工具的使用

Redis-benchmark测试工具

作用：可以有效的测试redis服务的性能
相关参数：

-h: 指定服务器主机名
-p：指定服务器端口
-s：指定服务器socket
-c：指定并发连接数
-n：指定请求数
-d：以字节的形式指定SET/GET值的数据大小
-k：1=keep alive 0=reconnect
-r：SET/GET/INCR使用随机key，SADD使用随机值
-P：通过管道传输请求
-q：强制退出redis，仅显示query/sec值
—csv：以CSV格式输出
-l：生成循环，永久执行测试
-t：仅运行以逗号分隔的测试命令列表
-I：Idle模式，仅打开N个idle 连接并等待

key相关命令

keys:获取符合规则的键值列表
exists:判断键值是否存在
del:删除当前数据库的指定key
type:获取key对应的value值类型
rename(覆盖)l renamenx(不覆盖):对已有的key进行重命名
dbsize:查看当前数据库中key的数目

Redis多数据库操作

1、Redis支持多数据库，默认支持16个数据库，0-15命名
2、多数据库相互独立，互不干扰
3、多数据库常用命令
（1）多数据库间切换
（2）多数据库间移动数据
（3）清除数据库内数据

Redis服务优化

Redis持久化
概述
1、Redis是运行在内存中，断电会丢失内存中的数据
2、为了能后重用Redis数据，或者防止系统故障，我们需要将Redis中的数据写入到磁盘空间中，即持久化
持久化分类
RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本
AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化
RDB持久化
1、是Redis默认的持久化方式
2、默认文件名为dump.rdb

[root@redis utils]# cd /var/lib/redis/6379/
[root@redis 6379]# ls
dump.rdb

3、触发条件
（1）在指定的时间间隔内，执行指定次数的写操作（配置文件控制）
（2）执行save或者是bgsave（异步）命令
（3）执行flushall命令，清空数据库所有数据
（4）执行shutdown命令，保证服务器正常关闭且不丢失任何数据
4、优缺点
（1）适合大规模的数据恢复
（2）如果业务对数据完整性和一致性要求不高，RDB是很好的选择
（3）数据的完整性和一致性不高
（4）备份时占用内存
5、通过RDB文件恢复数据
将dump.rdb文件拷贝到redis的安装目录的bin目录下，重启redis服务即可
6、配置RDB持久化
[root@redis 6379]# vim /etc/redis/6379.conf ‘//修改配置文件’
‘//搜索save，找到如下’
save 900 1 ‘//900秒之内至少一次写操作’
save 300 10 ‘//300秒内至少10次写操作’
save 60 10000 ‘//60秒内至少10000次写操作’
‘//只要满足其一都会触发快照操作，注释所有的save项表示关闭RDB’
dbfilename dump.rdb ‘//RDB文件名称’
dir /var/lib/redis/6379 ‘//RDB文件路径’
rdbcompression yes ‘//开启了压缩功能’

AOF持久化

1、Redis默认不开启
2、优缺点
（1）弥补RDB的不足（数据的不一致性）
（2）采用日志的形式来记录每个写操作，并追加到文件中
（3）Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
3、根据AOF文件恢复数据
将appendonly.aof文件拷贝到redis安装目录的bin目录下，重启redis服务即可
4、配置AOF持久化
[root@redis 6379]# vim /etc/redis/6379.conf
appendonly no ‘//修改为yes即可开启AOF持久化’
appendfilename “appendonly.aof” ‘//AOF文件名称’
#appendfsync always ‘//always:同步持久化，每次发生数据变化会立刻写入磁盘’
appendfsync everysec ‘//everysec:默认推荐，每秒异步记录次(默认值)’
#appendfsync no ‘//no:不同步，交给操作系统决定如何同步’
‘//取消注释的时候注意前方空格，一定要删掉’
aof-load-truncated yes ‘//忽略最后一条可能存在问题的指令’

AOF重写机制

1、概述
（1）AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
（2）当AOF文件的大小超过所设定的阀值时，Redis就会对AOF文件的内容压缩
2、原理
Redis会fork出一条新进程，读取内存中的数据(并没有读取旧文件)，并重新写到一个临时文件中，最后替换旧的aof文件
3、配置AOF重写
[root@redis 6379]# vim /etc/redis/6379.conf
no-appendfsync-on-rewrite no ‘//在日志进行BGREWRITEAOF时， 如果设置为yes表示新写操作不进行同步fsync,只暂存在缓冲区里，避免造成磁盘I0操作冲突，等重写完成后在写入。redis中默认为no’
auto-aof-rewrite-percentage 100 ‘//当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作’
auto-aof-rewrite-min-size 64mb '//当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动Reids时由于文件尺寸较小

Redis性能管理

查看Redis内存使用

[root@localhost 6379]# redis-cli
127.0.0.1:6379> info memory
#Memory
used_memory:853320 #内存使用总量
used_memory_human:833.32K
used_memory_rss:3473408
…
allocator_frag_ratio:1.24
allocator_frag_bytes:406552
allocator_rss_ratio:4.44 #内存碎片率

内存碎片率

操系统分配的内存值used_memory_rss除以Redis使用的内存值used_memory计算得出
内存碎片是由操作系统低效的分配/回收物理内存导致的
不连续的物理内存分配
跟踪内存碎片率对理解Redis实例的资源性能是非常重要的
内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
内存碎片率超过1.5，说明Redis消耗了实际需要物理内存的150%，其中50%是内存碎片率
内存碎片率低于1的，说明Redis内存分配超出了物理内存，操作系统正在进行内存交换

内存使用率

redis实例的内存使用率超过可用最大内存，操作系统将开始进行
内存与swap空间交换
避免内存交换
针对缓存数据大小选择
尽可能的使用Hash数据结构
设置key的过期时间

回收key

1、保证合理分配redis有限的内存资源
2、当达到设置的最大阀值时，需选择—种key的回收策略
3、默认情况下回收策略是禁止删除
4、redis.conf配置文件中修改maxmemory-policy属性值

volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰
volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
allkeys-lru:使用LRU算法从所有数据集合中淘汰数据
allkeys-random:从数据集合中任意选择数据淘汰
no-enviction:禁止淘汰数据

Redis群集

Redis集群介绍
1、Redis集群是一个提供在多个Redis间节点间共享数据的程序集
2、Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误
3、Redis集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令
Redis集群的优势
1、自动分割数据到不同的节点上
2、整个集群的部分节点失败或者不可达的情况下能够继续处理命令
实现方法
1、客户端分片
2、代理分片
3、服务器端分片
Redis-Cluster数据分片
1、Redis集群没有使用一致性hash，而是引入了哈希槽概念
2、Redis集群有16384个哈希槽
3、每个key通过CRC16校验后对16384取模来决定放置槽
4、集群的每个节点负责一部分哈希槽
5、以3个节点组成的集群为例
（1）节点A包含О到5500号哈希槽
（2）节点B包含5501到11000号哈希槽
（3）节点C包含11001到16384号哈希槽
6、支持添加或者删除节点
（1）添加删除节点无需停止服务
（2）如果想新添加个节点D,需要移动节点A,B,C中的部分槽到D上
（3）如果想移除节点A，需要将A中的槽移到B和C节点上，再将没有任何槽的A节点从集群中移除
Redis-Cluster的主从复制模型
1、集群中具有A，B，C三个节点,如果节点B失败了，整个集群就会因缺少5501-11000这个范围的槽而不可用
2、为每个节点添加一个从节点A1，B1，C1,整个集群便有三个master节点和三个slave节点组成，在节点B失败后，集群便会选举B1为新的主节点继续服务
3、当B和B1都失败后，集群将不可用

redis集群项目

环境
192.168.188.10 192.168.188.20
192.168.188.30 192.168.188.40
192.168.188.50 192.168.188.60
主备
192.168.188.10 192.168.188.50
192.168.188.20 192.168.188.60
192.168.188.30 192.168.188.40
注：一定要关闭防火墙和核心防护

六台一起
1.解压缩

[root@server1 ~]# systemctl stop firewalld
[root@server1 ~]# setenforce 0
[root@server1 ~]# tar zxvf redis-5.0.4.tar.gz 

2.安装配置

[root@server1 ~]# cd redis-5.0.4/
[root@server1 redis-5.0.4]# make
[root@server1 redis-5.0.4]# make PREFIX=/usr/local/redis install
更改安装路径可以用make PREFIX=安装路径 install
创建命令链接
[root@server1 redis-5.0.4]# ln -s /usr/local/redis/bin/* /usr/local/bin
[root@server1 redis-5.0.4]# cd

3.查看安装脚本

[root@server1 ~]# cd redis-5.0.4/
[root@server1 redis-5.0.4]# cd utils/
[root@server1 utils]# ./install_server.sh   //运行脚本安装
回车

4.查看端口状态

[root@server1 utils]# netstat -anpt | grep redis
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      60326/redis-server  
[root@server1 utils]# vi /etc/redis/6379.conf
检索Pro  上面修改成bind 192.168.188.10   //监听本地地址
检索Every  上面修改 cluster-enabled yes  //开启群集功能'
检索appendonly  修改appendonly yes 开启AOF持久化
检索cluster-config 去掉#号
检索cluster-node 去掉#号
检索cluster-require  去掉#号

[root@server1 utils]# /etc/init.d/redis_6379 stop //关闭服务
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
[root@server1 utils]# /etc/init.d/redis_6379 start  //开启服务
Starting Redis server...

创建群集 192.168.188.10
添加redis-3.2.0.gem
安装软件

[root@server1 ~]# yum -y install ruby rubygems
[root@server1 ~]# gem install redis-3.2.0.gem 
Successfully installed redis-3.2.0
Parsing documentation for redis-3.2.0
Installing ri documentation for redis-3.2.0
1 gem installed
[root@server1 ~]# redis-cli --cluster create --cluster-replicas 1 192.168.188.10:6379 192.168.188.20:6379 192.168.188.30:6379 192.168.188.40:6379 192.168.188.50:6379 192.168.188.60:6379

192.168.188.20 主2

[root@server2 ~]# redis-cli -h 192.168.188.20 -p 6379 -c   #登录主2
192.168.188.20:6379> set add pukou   #创建一个键值
-> Redirected to slot [1943] located at 192.168.188.10:6379   #随机存入了主1 （会自动跳转到主1）
OK
192.168.188.10:6379> set num 9
OK   #随机存入了主1（不用跳转）
192.168.188.10:6379> set name song
-> Redirected to slot [5798] located at 192.168.188.20:6379   #随机存入了主2 （会自动跳转到主2）
OK
192.168.188.20:6379> set k1 7
-> Redirected to slot [12706] located at 192.168.188.30:6379   #随机存入了主2 （会自动跳转到主2）
OK
192.168.188.30:6379> get name   #随机存入了主2 （会自动跳转到主2）
-> Redirected to slot [5798] located at 192.168.188.20:6379
"song"   #显示值
192.168.188.20:6379> keys *  #查看主2里的键值
1) "name"
2) "weather"
192.168.188.20:6379> exit
[root@server2 ~]# 

192.168.188.40 从3

[root@server4 ~]# redis-cli -h 192.168.188.40 -p 6379 -c   #登录从3
192.168.188.40:6379> keys *    #查看从3里的键值，发现已同步主3
1) "k1"
192.168.188.40:6379> get k1   #获取“k1”的值
-> Redirected to slot [12706] located at 192.168.188.30:6379  #自动跳转到主3（说明数据还是从主上面获取的）
"7"
192.168.188.30:6379> get k1
"7"
192.168.188.30:6379> 

模拟master宕机
1、关掉主2的服务

[root@server2 ~]# pkill redis
[root@server2 ~]# netstat -anpt | grep redis

192.168.188.10 主1

[root@server1 ~]# redis-cli -h 192.168.188.10 -p 6379 -c
192.168.188.10:6379> cluster info  #查看群集信息
192.168.188.10:6379> CLUSTER NODES   # 查看群集节点

[root@server1 ~]# redis-cli -h 192.168.188.10 -p 6379 -c
192.168.188.10:6379> set k1 5
-> Redirected to slot [12706] located at 192.168.188.30:6379
OK
192.168.188.30:6379> set k2 6
-> Redirected to slot [449] located at 192.168.188.10:6379
OK
192.168.188.10:6379> set k3 7
OK
192.168.188.10:6379> set k4 8
-> Redirected to slot [8455] located at 192.168.188.60:6379  #此时键值分配到了从2上（说明从2已替代主2的作用了）
OK
192.168.188.60:6379> set k5 9
-> Redirected to slot [12582] located at 192.168.188.30:6379
OK
192.168.188.30:6379> get k4   
-> Redirected to slot [8455] located at 192.168.188.60:6379  #从从2上获取信息
"8"
192.168.188.60:6379>