Redis数据库持久化与主从复制

一、 Redis数据库持久化

概述：Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集 合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器

 （一）、持久化的作用以及实现方式

作用

Redis的所有数据都是保存在内存中，如果没有配置持久化，redis重启后数据就全丢失了，于是需要开启redis的持久化功能，将数据保存到磁盘上，当redis重启后，可以从磁盘中恢复数据。那么不定期的通过异步方式保存到磁盘上（半持久化模式）；也可以把每一次数据变化都写入到一个append only file里面（全持久化模式）。 如若在服务器中开启了两种持久化的方式，默认执行AOF持久化方式

实现方式

RDB持久化：将Reids在内存中的数据库记录定时dump到磁盘上，类似于快照功能
AOF持久化：append only file：原理是将Reids的操作日志以追加的方式写入文件，近似实时性

二者的区别

RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘，实际操作过程是fork一个子进程，先将数据集写入临时文件，写入成功后，再替换之前的文件，用二进制压缩存储

AOF持久化是以日志的形式记录服务器所处理的每一个写、删除操作，查询操作不会记录，以文本的方式记录，可以打开文件看到详细的操作记录

 RDB持久化三种机制:以快照的形式持久化文件
1、Save客户端的请求是阻塞状态
2、Bgsave redis产生子进程将快照文件保存到硬盘,客户端的请求不阻塞
3、自同步 save 30 1

RDB的优势

1、如果一旦采用该方式，那么你的整个Redis数据库将只包含一个文件，这对于文件备份而言是非常完美的

如：每个小时归档一次最近24小时的数据，同时还要每天归档一次最近30天的数据。通过这样的备份策略，一旦系统出现灾难性故障，就可以非常容易的进行恢复

2、对于灾难恢复而言，RDB是非常不错的选择。因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上

3、性能最大化。对于Redis的服务进程而言，在开始持久化时，它唯一需要做的只是fork出子进程，之后再由子进程完成这些持久化的工作，这样就可以极大的避免服务主进程执行IO操作了
4、相比于AOF机制，如果数据集很大，RDB的启动效率会更高

RDB的劣势

1、如果想保证数据的高可用性，即最大限度的避免数据丢失，那么RDB将不是一个很好的选择。因为系统一旦在定时持久化周期之内出现宕机现象，此前没有来得及写入磁盘的数据都将丢失
2、由于RDB是通过fork子进程来协助完成数据持久化工作的，因此，如果当数据集较大时，可能会导致整个服务器停止服务几百毫秒，甚至是1秒钟

AOF的优势

1、该机制可以带来更高的数据安全性，即数据持久性。Redis中提供了3中同步策略，即每秒同步、每修改同步和不同步。事实上，每秒同步也是异步完成的，其效率也是非常高的，所差的是一旦系统出现宕机现象，那么这一秒钟之内修改的数据将会丢失。而每修改同步，我们可以将其视为同步持久化，即每次发生的数据变化都会被立即记录到磁盘中。可以预见，这种方式在效率上是最低的
2、由于该机制对日志文件的写入操作采用的是append模式，因此在写入过程中即使出现宕机现象，也不会破坏日志文件中已经存在的内容。然而如果我们本次操作只是写入了一半数据就出现了系统崩溃问题，不用担心，在Redis下一次启动之前，我们可以通过redis-check-aof工具来帮助我们解决数据一致性的问题
3、如果日志过大，Redis可以自动启用rewrite机制。即Redis以append模式不断的将修改数据写入到老的磁盘文件中，同时Redis还会创建一个新的文件用于记录此期间有哪些修改命令被执行。因此在进行rewrite切换时可以更好的保证数据安全性
4、AOF包含一个格式清晰、易于理解的日志文件用于记录所有的修改操作。事实上，我们也可以通过该文件完成数据的重建

1、相对于RDB,能够保证数据的安全
2、AOF日志文件即使过大时,出现后台重写操作,也不会影响客户端的读写
3、AOF日志文件的命令通过非常可读的方式进行记录,这个特性非常适合做灾难性的误删除的紧急恢复。比如某人不小心用flushall命令清空了所有数据,只要这个时候后台rewrite还没有发生,那么就可以立即拷贝AOF文件,将最后一条flushall命令给删了,然后再将该AOF文件放回去,就可以通过恢复机制,自动恢复所有数据 

AOF的劣势

1、对于相同数量的数据集而言，AOF文件通常要大于RDB文件。RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快
2、根据同步策略的不同，如果在数据量比较大的情况下，AOF在运行效率上往往会慢于RDB

应用场景

1、愿意牺牲一些性能（选择AOF）
2、换取更高的缓存一致性，保证数据库最高可能的完整性（选择AOF）
3、愿意写操作频繁的时候，不启用备份来换取更高的性能，待手动运行save的时候，再做备份（RDB）

（二）、RDB持久化方式配置

环境准备：根据 Redis高性能数据库 安装Redis服务

[root@C7--07 ~]# vim /usr/local/redis/redis.conf
..........
....
 381  save 900 1                        #开启RDB快照功能，在900秒内完成一个key值得变动触发快照功能，如若将所有save配置项都注释掉，那么则将关闭RDB快照功能
 382  save 300 10
 383  save 60 10000
.......
 398 stop-writes-on-bgsave-error yes    #当RDB快照后台进程失败，不影响用户得写操作
.......
 404 rdbcompression yes                 #是否将RDB快照文件压缩，关闭后会增加性能
......
 413 rdbchecksum no                     #关闭RDB快照文件的检查校验，增加性能
.....
 431 dbfilename dump.rdb                #快照文件的名称
......
 454 dir /usr/local/redis/                           #快照文件的存储路径，./为redis的安装目录下

保存退出

[root@C7--07 ~]# systemctl restart redis

[root@C7--07 ~]# redis -h 192.168.2.7 -p 6379 -a 123.com
.....
..
192.168.2.7:6379> set qvq hhh
OK
192.168.2.7:6379> set id qqq
OK
192.168.2.7:6379> keys *
1) "qvq"
2) "id"
192.168.2.7:6379> exit

[root@C7--07 ~]# reboot   #重启
[root@C7--07 ~]# redis -h 192.168.2.7 -p 6379 -a 123.com
.........
192.168.2.7:6379> keys *
1) "id"
2) "qvq"
192.168.2.7:6379> quit

 注意：这里使用绝对路径  dir /usr/local/redis/

（三）、AOF持久化方式配置

[root@C7--07 ~]# vim /usr/local/redis/redis.conf                 
......
 381 # save 900 1
 382 # save 300 10
 383 # save 60 10000
.....
1252 appendonly yes                     #开启AOF持久化方式
....
1256 appendfilename "appendonly.aof"    #指定持久化的文件
...
1282 appendfsync everysec               #频率；详细说明看下表
...
1304 no-appendfsync-on-rewrite no       #如若设置为yes，则redis执行的命令会存放到缓冲区，待系统自动同步到硬盘
...
1323 auto-aof-rewrite-percentage 100    #若当前写入的AOF文件达到了上次rewrite文件大小的100%，则触发rewrite操作
1324 auto-aof-rewrite-min-size 64mb     #设置AOF持久化重写文件的最小值，当达到60M并且符合100%的条件时，则触发rewrite操作
...

保存

1282    appendfsync    的频率参数
参数	同步频率说明
always	同步持久化，每个Redis命令发生数据改变都要同步写入硬盘；这样会严重降低Redis的性能
everysec	异步操作，每秒执行一次同步,如果在一秒内宕机，会丢失数据
no	让操作系统来决定应该何时进行同步

AOF 文件的生成过程具体包括：命令追加、文件写入、文件同步  三个步骤

Redis 打开 AOF 持久化功能后，Redis 在执行完一个写命令后，都会将执行的写命令追回到 Redis 内部的缓冲区的末尾。这个过程是命令的追加过程。 接下来，缓冲区的写命令会被写入到 AOF 文件，这一过程是文件写入过程。对于操作系统来说，调用write函数并不会立刻将数据写入到硬盘，为了将数据真正写入硬盘，还需要调用fsync函数，调用fsync函数即是文件同步的过程。只有经过文件同步过程，AOF 文件才在硬盘中真正保存了 Redis 的写命令。appendfsync 配置选项正是用来配置将写命令同步到文件的频率的，各个选项的值的含义如表 1 所示。而值为no的话表示为写入AOF文件，但是不进行磁盘同步，根据linux系统默认进行磁盘同步，默认30s，效率是最高的

[root@C7--07 ~]# systemctl restart redis
[root@C7--07 ~]# redis -h 192.168.2.7 -a 123.com
.....
192.168.2.7:6379> set pvp aaa
OK
192.168.2.7:6379> keys *
1) "pvp"
192.168.2.7:6379> get pvp
"aaa"
192.168.2.7:6379> exit

[root@C7--07 ~]# cat /usr/local/redis/appendonly.aof 
*2
$6
SELECT
$1
0
*3
$3
set
$3
pvp
$3
aaa

[root@C7--07 ~]# reboot     #重启后验证key是否存在
[root@C7--07 ~]# systemctl restart redis

[root@C7--07 ~]# redis -h 192.168.2.7 -a 123.com
.....
192.168.2.7:6379> keys *
1) "pvp"
192.168.2.7:6379> quit

 RDB持久化的数据,当改为AOF持久化的时候,数据是无法同步的；如果想要RDB里边的数据,持久化到AOF 

在开始前修改dir的路径 

开启RDB后写入数据

192.168.2.7:6379> set name ***
OK
192.168.2.7:6379> keys *
1) "name"
192.168.2.7:6379> get name
"***"
192.168.2.7:6379> save
OK
192.168.2.7:6379> quit

[root@C7--07 ~]# /etc/init.d/redis restart
——————————————————————————————————————————————————
进行同步

[root@C7--07 ~]# redis -h 192.168.2.7 -p 6379 -a 123.com
.....
192.168.2.7:6379> keys *
1) "name"
192.168.2.7:6379> save 
OK
192.168.2.7:6379> config set appendonly yes                  #临时开启
OK
192.168.2.7:6379> save
OK
192.168.2.7:6379> shutdown save
not connected> quit
——————————————————————————————
修改配置文件开启 appendonly yes 

[root@C7--07 ~]# /etc/init.d/redis restart
[root@C7--07 ~]# redis -h 192.168.2.7 -p 6379 -a 123.com
......
192.168.2.7:6379> keys *
1) "name"

RDB会自动同步AOF

192.168.2.7:6379> set init 6
OK
192.168.2.7:6379> save
OK
192.168.2.7:6379> quit
修改配置文件关闭 appendonly no

[root@C7--07 ~]# /etc/init.d/redis restart
........
192.168.2.7:6379> keys *
1) "init"
2) "name"

二、Redis数据库主从复制

概述：为了分担读写压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步

 （一）、同步介绍

同步类型：全量同步、增量同步

1、全量同步

Redis全量复制一般发生在Slave初始化阶段，这时Slave需要将Master上的所有数据都复制一份

步骤：
①、从服务器连接主服务器，发送SYNC命令（从服务器向主服务器初次同步时，不会影响主服务器接收客户端的请求）
②、主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令
③、主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令
④、从服务器收到快照文件后丢弃所有旧数据，载入收到的快照
⑤、主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令
⑥、从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令

 完成上面的步骤后就完成了从服务器数据初始化的所有操作，从服务器此时可以接收来自用户的读请求

2、增量同步

Redis增量复制是指Slave初始化后开始正常工作时主服务器发生的写操作同步到从服务器的过程。 增量复制的过程主要是主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令

同步策略：

主从刚刚连接的时候，进行全量同步
全同步结束后，进行增量同步。当然，如果有需要，slave 在任何时候都可以发起全量同步。redis 策略是，无论如何，首先会尝试进行增量同步，如不成功，要求从机进行全量同步

注意：如果多个Slave断线了，需要重启的时候，因为只要Slave启动，就会发送sync请求和主机全量同步，当多个同时出现的时候，可能会导致Master IO剧增导致宕机
建议开启master主服务器的持久化功能，避免出现master重启后，数据无法恢复

（二）、搭建主从复制

系统类型	IP地址	主机名	角色及端口
CentOS 7.4	192.168.2.7	master	master（主）6379
CentOS 7.4	192.168.2.6	slave	slave（双从）6379,6380

 此次实验包含双实例（双从）

1、准备环境

1.1、安装 master （主）服务器按照     Redis高性能数据库    进行安装

[root@master ~]# netstat -anptu |grep redis         
tcp        0      0 192.168.2.7:6379        0.0.0.0:*               LISTEN      929/redis-server 19 

[root@master ~]# redis -h 192.168.2.7 -a 123.com
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.2.7:6379> exit
[root@master ~]# 

1.2、安装 slave （双从）服务器

[root@slave ~]# tar zxvf redis-6.2.6.tar.gz                                      
[root@slave ~]# cd redis-6.2.6                                 
[root@slave redis-6.2.6]# make                             
[root@slave redis-6.2.6]# echo $?                         
[root@slave redis-6.2.6]# cd                               
[root@slave ~]# mkdir -p /usr/local/redis      
[root@slave ~]# cp /root/redis-6.2.6/src/redis-server /usr/local/redis/        #服务端程序
[root@slave ~]# cp /root/redis-6.2.6/src/redis-cli /usr/local/redis/           #客户端程序
[root@slave ~]# cp /root/redis-6.2.6/redis.conf /usr/local/redis/              #主配置文件
[root@slave ~]# ls /usr/local/redis/          
redis-cli  redis.conf  redis-server

[root@slave ~]# sed -i '/^bind/s/bind .*/bind 192.168.2.6/g' /usr/local/redis/redis.conf   #修改为本机地址
[root@slave ~]# sed -i '/protected-mode/s/yes/no/g' /usr/local/redis/redis.conf            #关闭redis的保护模式
[root@slave ~]# sed -i '/daemonize/s/no/yes/g' /usr/local/redis/redis.conf                 #开启redis的后台守护进程模式
[root@slave ~]# sed -i '/requirepass/s/foobared/123.com/g' /usr/local/redis/redis.conf     #设置redis的密码为123.com
[root@slave ~]# sed -i '/requirepass 123.com/s/^#//g' /usr/local/redis/redis.conf          #开启redis的密码

[root@slave ~]# cp /usr/local/redis/redis.conf /usr/local/redis/redis2.conf                                           

      复制redis.conf配置文件 后修改以下配置

[root@slave ~]# sed -i '98s/6379/6380/g' /usr/local/redis/redis2.conf              #更改监听端口
[root@slave ~]# sed -i '289s/redis_6379.pid/redis_6380.pid/g' /usr/local/redis/redis2.conf             #更改PID文件
[root@slave ~]# sed -i '302s/^\(.\).\{9\}/logfile "\/usr\/local\/redis\/redis2.log"/g' /usr/local/redis/redis2.conf             #更改日志文件位置，9代表旧内容的字节数
[root@slave ~]# ln -s /usr/local/redis/redis-cli /usr/local/bin/redis                 


注意：版本不一样行号不一样  修改内容 ：端口号、进程文件、日志位置

写入启动脚本

cat <<END >>/etc/init.d/redis
#!/bin/sh
# chkconfig: 2345 80 90
# description: Start and Stop redis
#PATH=/usr/local/bin:/sbin:/usr/bin:/bin
REDISPORT=6379
EXEC=/usr/local/redis/redis-server
REDIS_CLI=/usr/local/redis/redis-cli
PIDFILE=/var/run/redis_6379.pid
CONF="/usr/local/redis/redis.conf"
AUTH="123.com"
LISTEN_IP=\$(netstat -utpln |grep redis-server |awk '{print \$4}'|awk -F':' '{print \$1}' |uniq)

case "\$1" in
    start)
        if [ -f \$PIDFILE ]
        then
                echo "\$PIDFILE exists, process is already running or crashed"
        else
                echo "Starting Redis server..."
                \$EXEC \$CONF
        fi
        if [ "\$?"="0" ]
        then
              echo "Redis is running..."
        fi
        ;;
    stop)
        if [ ! -f \$PIDFILE ]
        then
                echo "\$PIDFILE does not exist, process is not running"
        else
                PID=\$(cat \$PIDFILE)
                echo "Stopping ..."
                \$REDIS_CLI -h \$LISTEN_IP -p \$REDISPORT -a \$AUTH SHUTDOWN &>>/dev/null
                while [ -x \${PIDFILE} ]
               do
                    echo "Waiting for Redis to shutdown ..."
                    sleep 1
                done
                echo "Redis stopped"
        fi
        ;;
   restart|force-reload)
        \${0} stop
        \${0} start
        ;;
  *)
    echo "Usage: /etc/init.d/redis {start|stop|restart|force-reload}" >&2
        exit 1
esac
END

[root@slave ~]# chmod 755 /etc/init.d/redis                 
[root@slave ~]# chkconfig --add redis                       
[root@slave ~]# cp /etc/init.d/redis /etc/init.d/redis2                 

       复制启动脚本后修改 内容

[root@slave ~]# sed -i 's/6379/6380/g' /etc/init.d/redis2                        
[root@slave ~]# sed -i '/PIDFILE=/s/6379/6380/g' /etc/init.d/redis2               
[root@slave ~]# sed -i '/CONF=/s/redis.conf/redis2.conf/g' /etc/init.d/redis2               

   修改：端口号、进程文件、配置文件名称

[root@slave ~]# chkconfig --add redis2
[root@slave ~]# systemctl start redis      
[root@slave ~]# systemctl start redis2     
[root@slave ~]# netstat -utpln |grep redis     
tcp        0      0 192.168.2.6:6379        0.0.0.0:*               LISTEN      12261/redis-server  
tcp        0      0 192.168.2.6:6380        0.0.0.0:*               LISTEN      12857/redis-server  

————————————————————验证：

[root@slave ~]# redis -h 192.168.2.6 -p 6380 -a 123.com
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.2.6:6380> quit
[root@slave ~]# redis -h 192.168.2.6 -p 6379 -a 123.com
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.2.6:6379> quit

2、配置主从

2.1、配置slave文件

[root@slave ~]# echo 'slaveof 192.168.2.7 6379' >> /usr/local/redis/redis.conf            #指定master的ip地址以及端口
[root@slave ~]# echo 'masterauth 123.com' >> /usr/local/redis/redis.conf                  #指定master的连接密码
[root@slave ~]# systemctl restart redis                     
[root@slave ~]# echo 'slaveof 192.168.2.7 6379' >> /usr/local/redis/redis2.conf                 
[root@slave ~]# echo 'masterauth 123.com' >> /usr/local/redis/redis2.conf                
[root@slave ~]# systemctl restart redis2                

3、验证主从复制

[root@master ~]# redis -h 192.168.2.7 -a 123.com
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.2.7:6379> set qvp 123456
OK
192.168.2.7:6379> info replication                                #查看复制信息
# Replication
role:master
connected_slaves:2                                                #
slave0:ip=192.168.2.6,port=6379,state=online,offset=2463,lag=0
slave1:ip=192.168.2.6,port=6380,state=online,offset=2463,lag=0
master_failover_state:no-failover
master_replid:9e96b35c2fccf36b247c16e25e4d8a09cfa6ccd9
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:2463
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:2463

info  *
Server模块	包含了Redis服务本身的一些信息，例如版本号、运行模式、操作系统的版本、TCP端口
Clients模块	包含了连接数、阻塞命令连接数、输入输出缓冲区等相关统计信息
Memory模块	包含了Redis内存使用、系统内存使用、碎片率、内存分配器等相关统计信息
Persistence模块	包含了RDB和AOF两种持久化的一些统计信息
Stats模块	是Redis的基础统计信息，包含了：连接、命令、网络、过期、同步等很多统计信息
Replication模块	包含了Redis主从复制的一些统计信息，根据主从节点，统计信息也略有不同
CPU模块	包含了Redis进程和子进程对于CPU消耗的一些统计信息
Commandstats模块	是Redis命令统计信息，包含各个命令的命令名、总次数、总耗时、平均耗时
Keyspace模块	包含了每个数据库的键值统计信息

3.1 登录slave节点验证键值同步情况，并测试无法写入

[root@C7--06 ~]# redis -h 192.168.2.6 -p 6379 -a 123.com
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.2.6:6379> keys *
1) "qvp"
192.168.2.6:6379> get qvp
"123456"
192.168.2.6:6379> set pvq 654321
(error) READONLY You can't write against a read only replica.
192.168.2.6:6379> keys *
1) "qvp"
192.168.2.6:6379> quit