1.简介
本文旨在介绍Redis如何单机搭建、集群搭建以及哨兵搭建的步骤。主要分为节点的配置要求,Redis的配置说明,哨兵的配置说明以及启停命令。
2资源清单
2.1 硬件资源
服务器名 | 物理位置 | IP | CPU | memory | 存储空间 |
Redis | Redis | xx.xx.xx.xx | 4C | 8G | 100G |
2.2 软件资源
Redis的4.0.11版本。
3 部署流程
3.1 项目结构
Redis的发行包为一个压缩包,下载Redis.4.0.11.tar.gz的安装包,解压安装包至具体的安装路径xxx下,其项目结构如下:
Redis
|- bin # 存放redis的启停脚本
|- redis # 存放redis的运行资源
3.2 单节点部署
- 将Redis部署到xxx路径
- 编辑 xxx/Redis/redis.conf文件,其主要配置(若需要其他配置,可去官方配置查找后添加)如下:
protected-mode no port 6379 bind 192.168.20.12 requirepass 123 daemonize yes pidfile "/xxx/Redis /redis_6379.pid" loglevel verbose logfile "/xxx/Redis /log/log.log" dir "/xxx/Redis" timeout 300 maxclients 0 save 900 1 save 300 10 save 60 10000 appendonly no
|
其配置详情如下:
配置项 | 默认值 | 配置说明 |
protected-mode | no | 开启后限定只能从本机访问Redis,默认为no |
port | 6379 | 监听端口,默认为6379 |
bindIp |
| 监听ip,默认为127.0.0.1 |
requirepass |
| Redis客户端连接密码 |
daemonize | false | 设置为deamon进程,默认为false |
pidfile |
| 进程id存放文件 |
loglevel | verbose | 日志级别为debug、verbose、notice、warning |
logfile |
| Redis运行日志文件 |
dir |
| 指定本地数据库存放目录 |
timeout | 0 | Client 连接idle时间关闭连接,默认为0永不关闭 |
maxclients | 0 | 最大客户端连接数,默认为0则不限制 |
save | save 900 1 save 300 10 save 60 10000 | 在多长时间内,有多少次更新操作,就将数据同步到数据文件(可多个条件匹配)(Redis默认先将日志缓存到内存中) |
appendonly | no | 是否每次更新操作后记录日志,默认为no(断电时会导致一段时间内的数据丢失) |
- 启动命令
在xxx/Redis路径下,执行如下命令,执行后查看logfile日志文件无报错即启动成功:
./bin/redis-server redis.conf |
- 停止命令
查看pidfile文件找到pid,执行kil命令即可
kill -9 pid |
- 连接Redis-Server操作
在xxx/Redis/bin路径下,执行如下命令:
./redis-cli -h ip -p port auth passwd
|
3.3 Redis 主从集群部署
Redis集群中节点数为2n+1,以下例子采用1主节点2从节点配置Redis主从集群(安装包部署参照单节点部署的流程)。
- 主节点配置:
protected-mode no port 6379 bind 192.168.20.12 masterauth 123 requirepass 123 cluster-enabled yes daemonize yes pidfile "/xxx/Redis /redis_6379.pid" loglevel verbose logfile "/xxx/Redis /log/log.log" dir "/xxx/Redis" timeout 300 maxclients 0 save 900 1 save 300 10 save 60 10000 appendonly no ## 以下参数可不配置,采用redis自带的默认值 ## databases 16 rdbcompression yes dbfilename dump.rdb maxmemory 0 maxmemory-policy noeviction appendfilename appendonly.aof appendfsync everysec vm-enabled no vm-swap-file /tmp/redis.swap vm-max-memory 0 vm-page-size 32 vm-pages 134217728 vm-max-threads 4 glueoutputbuf yes hash-max-zipmap-entries 64 hash-max-zipmap-value 512 activerehashing yes include /path/to/local.conf
|
- 从节点1配置:
protected-mode no port 6001 bind 192.168.20.12 masterauth 123 requirepass 123 cluster-enabled yes slaveof 192.168.20.12 6379 slave-read-only yes daemonize yes pidfile "/xxx/xxx /redis_6001.pid" loglevel verbose logfile "/xxx/xxx /log/log.log" dir "/xxx/xxx" timeout 300 maxclients 0 save 900 1 save 300 10 save 60 10000 appendonly no ## 以下参数可不配置,采用redis自带的默认值 ## databases 16 rdbcompression yes dbfilename dump.rdb maxmemory 0 maxmemory-policy noeviction appendfilename appendonly.aof appendfsync everysec vm-enabled no vm-swap-file /tmp/redis.swap vm-max-memory 0 vm-page-size 32 vm-pages 134217728 vm-max-threads 4 glueoutputbuf yes hash-max-zipmap-entries 64 hash-max-zipmap-value 512 activerehashing yes include /path/to/local.conf
|
从节点2配置如同从节点1的配置,其配置的详情如下(其他配置参照单节点部署中的配置详情):
配置项 | 默认值 | 配置说明 |
masterauth | no | Slave连接master校验的密码 |
cluster-enabled | yes | 集群方式运行,默认为yes |
slaveof |
| Slave从属于主节点的配置 |
slave-read-only | yes | Slave是否只读,默认为yes |
databases | 0 | 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id |
rdbcompression | Yes | 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大 |
dbfilename | dump.rdb | 指定本地数据库文件名,默认值为dump.rdb |
maxmemory | 0(默认不限制) | 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会根据配置的策略来处理。
|
maxmemory-policy noeviction | noenviction | 1.volatile-lru(least recently used):最近最少使用算法,从设置了过期时间的键中选择空转时间最长的键值对清除掉 2.volatile-lfu(least frequently used):最近最不经常使用算法,从设置了过期时间的键中选择某段时间之内使用频次最小的键值对清除掉 3.volatile-ttl:从设置了过期时间的键中选择过期时间最早的键值对清除 4.volatile-random:从设置了过期时间的键中,随机选择键进行清除 5.allkeys-lru:最近最少使用算法,从所有的键中选择空转时间最长的键值对清除; 6.allkeys-lfu:最近最不经常使用算法,从所有的键中选择某段时间之内使用频次最少的键值对清除 7.allkeys-random:所有的键中,随机选择键进行删除
8.noeviction:不做任何的清理工作,在redis的内存超过限制之后,所有的写入操作都会返回错误,但读操作都能正常的进行(默认淘汰策略。当redis内存数据达到maxmemory,在该策略下,直接返回OOM错误);
|
appendfilename | appendonly.aof | 指定更新日志文件名,默认为appendonly.aof |
appendfsync | everysec | 指定更新日志条件,共有3个可选值: no:表示等操作系统进行数据缓存同步到磁盘(快) always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全) everysec:表示每秒同步一次(折衷,默认值) |
vm-enabled | no | 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中 |
vm-swap-file |
| 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享 |
vm-max-memory |
| 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0 |
vm-page-size |
| Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
|
vm-pages |
| 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,在磁盘上每8个pages将消耗1byte的内存 |
vm-max-threads | 4 | 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4 |
glueoutputbuf | yes | 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启 |
hash-max-zipmap-entries hash-max-zipmap-value |
| 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法 |
activerehashing | yes | 指定是否激活重置哈希,默认为开启 |
include |
| 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件 |
Redis主从集群中节点的启动、停止以及连接Redis-Server与单节点的一致。
3.4 Redis 哨兵监听模式
Redis中哨兵模式为启动哨兵监听Redis单节点(不建议配置)或者Redis主从节点的运行情况。在Redis主从模式下,当master节点宕机后,可根据哨兵的配置规则重新选举master节点,保证Redis的高可用行。
- Redis哨兵部署
安装部署完Redis并且成功运行Redis主从节点后,在Redis各个节点的安装路径xxx/Redis编辑文件sentinel.conf,其配置如下
protected-mode no daemonize yes port 26479 bind 100.2.17.42 sentinel down-after-milliseconds mymaster 30000 sentinel parallel-syncs mymaster 1 sentinel failover-timeout mymaster 180000 sentinel deny-scripts-reconfig yes dir "xxx/Redis/" logfile " xxx/Redis/log/sentinel_log.log" sentinel monitor mymaster 100.2.17.42 6379 2 sentinel auth-pass mymaster 123 #sentinel notification-script mymaster /var/redis/notify.sh #sentinel client-reconfig-script mymaster /var/redis/reconfig.sh |
其配置详情如下:
配置项 | 默认值 | 配置说明 |
protected-mode | no | 开启后限定只能从本机访问Redis,默认为no |
port | 26379 | 监听端口,默认为6379 |
bindIp |
| 监听ip,默认为127.0.0.1 |
daemonize | false | 设置为deamon进程,默认为false |
pidfile |
| 进程id存放文件 |
logfile |
| Redis运行日志文件 |
dir |
| 指定本地数据库存放目录 |
sentinel down-after-milliseconds <master-name> <milliseconds> | master-name:mymaster milliseconds:30000 | 主节点应答哨兵sentinel的最大时间间隔,超过这个时间,哨兵主观上认为主节点下线,默认30秒 |
sentinel parallel-syncs <master-name> <numslaves> | master-name:mymaster numslaves:1 | 在发生failover主备切换时,最多可以有多少个slave同时对新的master进行同步。这个数字越小,完成failover所需的时间就越长;反之,但是如果这个数字越大,就意味着越多的slave因为replication而不可用。可以通过将这个值设为1,来保证每次只有一个slave,处于不能处理命令请求的状态 |
sentinel failover-timeout <master-name> <milliseconds> | master-name:mymaster milliseconds:180000 | 故障转移的超时时间failover-timeout,默认三分钟,可以用在以下这些方面: 1. 同一个sentinel对同一个master两次failover之间的间隔时间。 2. 当一个slave从一个错误的master那里同步数据时开始,直到slave被纠正为从正确的master那里同步数据时结束。 3. 当想要取消一个正在进行的failover时所需要的时间。 4.当进行failover时,配置所有slaves指向新的master所需的最大时间。 5.不过,即使过了这个超时,slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来同步数据了 |
sentinel monitor<master-name> <ip> <redis-port> <quorum> | master-name:mymaster ip: 100.2.17.42 port:6379 quorum:2 | sentinel去监听地址为ip:port的一个master,这里的master-name可以自定义,quorum是一个数字,指明当有多少个sentinel认为一个master失效时,master才算真正失效。master-name只能包含英文字母,数字,和“.-_”这三个字符需要注意的是master-ip 要写真实的ip地址而不要用回环地址(127.0.0.1) |
sentinel auth-pass |
| 连接master的验证密码,其中mymaster为master的名称定义 |
sentinel notification-script <master-name> <script-path> | master-name:mymaster script-path:/var/redis/reconfig.sh 默认不配置 | 当sentinel有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本。一个脚本的最大执行时间为60s,如果超过这个时间,脚本将会被一个SIGKILL信号终止,之后重新执行。 对于脚本的运行结果有以下规则: 1. 若脚本执行后返回1,那么该脚本稍后将会被再次执行,重复次数目前默认为10。 2. 若脚本执行后返回2,或者比2更高的一个返回值,脚本将不会重复执行。 3. 如果脚本在执行过程中由于收到系统中断信号被终止了,则同返回值为1时的行为相同。 4. 调用该脚本时,将传给脚本两个参数,一个是事件的类型,一个是事件的描述。如果sentinel.conf配置文件中配置了这个脚本路径,那么必须保证这个脚本存在于这个路径,并且是可执行的,否则sentinel无法正常启动成功 |
sentinel client-reconfig-script <master-name> <script-path> | master-name:mymaster script-path:/var/redis/notify.sh 默认不配置 | 当一个master由于failover而发生改变时,这个脚本将会被调用,通知相关的客户端关于master地址已经发生改变的信息。以下参数将会在调用脚本时传给脚本: <master-name> <role> <state><from-ip> <from-port><to-ip> <to-port> 目前<state>总是“failover”, <role>是“leader或者“observer”中的一个。 参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的。这个脚本应该是通用的,能被多次调用,不是针对性的
|
sentinel deny-scripts-reconfig | yes | 默认情况下哨兵不能在运行时更改notification-script 和client-reconfig-script脚本,这确保了sentinel出现failover或者故障时能执行脚本 |
本示例采用3个哨兵节点监控,哨兵的节点数可自行定义,节点数多数为2n+1的约定(哨兵节点数关乎到监听master的配置项),哨兵均为监听master节点。
- 启动命令
在xxx/Redis路径下,执行如下命令,查看logfile日志无报错即启动成功
./bin/redis- sentinel sentinel.conf |
- 停止命令
查看pidfile文件找到pid,执行kil命令即可
kill -9 pid |
- 连接Redis-Sentinel操作
在xxx/Redis/bin路径下,执行如下命令:
./redis-cli -h ip -p port Info sentinel //查看sentinel监听的状态
|