redis replication
1 配置redis replication
- redis配置复制是很简单的,仅仅在slave的配置文件中增加类似下面这行的内容:
- //slave 端的配置文件
- tail -n4 redis.conf
- #master的ip地址与端口号
- slaveof 192.168.57.70 6379
- #设置slave到master的认证
- masterauth dongnan
- //master 端的配置文件,设置redis服务密码
- requirepass dongnan
2 启动redis slave 服务器
- /usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
3 查看redis 日志
- tail redis.log -f
- [1510] 02 Jul 17:47:51 * Server started, Redis version 2.4.15
- [1510] 02 Jul 17:47:51 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
- [1510] 02 Jul 17:47:51 * DB loaded from disk: 0 seconds
- [1510] 02 Jul 17:47:51 * The server is now ready to accept connections on port 6379
- [1510] 02 Jul 17:47:52 * Connecting to MASTER...
- [1510] 02 Jul 17:47:52 * MASTER <-> SLAVE sync started
- [1510] 02 Jul 17:47:52 * Non blocking connect for SYNC fired the event.
- [1510] 02 Jul 17:47:53 * MASTER <-> SLAVE sync: receiving 60 bytes from master
- [1510] 02 Jul 17:47:53 * MASTER <-> SLAVE sync: Loading DB in memory
- [1510] 02 Jul 17:47:53 * MASTER <-> SLAVE sync: Finished with success
4 验证redis slave replication
- /usr/local/redis/bin/redis-cli info | grep -i 'master'
- master_host:192.168.57.70
- master_port:6379
- master_link_status:up
- master_last_io_seconds_ago:4
- master_sync_in_progress:0
- //master
- 10.0.100.70 [~]$ /usr/local/redis/bin/redis-cli -a dongnan -h 10.0.100.70
- redis 192.168.57.70:6379> set name dongnan
- OK
- //slave
- 10.0.100.76 [var]$ /usr/local/redis/bin/redis-cli
- redis 127.0.0.1:6379> get name
- "dongnan"
5 注意:REPLICATION 主从配置
- requirepass dongnan:设置redis服务密码,如果开启,则客户端连接时需要 -a 指定密码,否则操作会提示无权限,如:
- redis> set name dongnan
- (error) ERR operation not permitted
参考1
http://www.redis.cn/topics/replication.html
参考2
redis replication 定义
一.redis主从复制特点:
1.master可以拥有多个slave
2.多个slave可以连接同一个master外,还可以连接到其他slave
3.主从复制不会阻塞master,在同步数据时,master可以继续处理client请求
4.提高系统的伸缩性
5.可以在master禁用数据持久化,注释掉master配置文件中的所有save配置,只需在slave上配置数据持久化
二.redis主从复制过程:
当配置好slave后,slave与master建立连接,然后发送sync命令。
无论是第一次连接还是重新连接,master都会启动一个后台进程,将数据库快照保存到文件中,同时master主进程会开始收集新的写命令并缓存。
后台进程完成写文件后,master就发送文件给slave,slave将文件保存到硬盘上再加载到内存中,接着master就会把缓存的命令转发给slave,后续master将收到的写命令发送给slave。
如果 master同时收到多个slave发来的同步连接命令,master只会启动一个进程来写数据库镜像,然后发送给所有的slave。
参考3
redis 主从配置实例
使用主从模式,在master上关掉所有持久化,在slave上使用AOF持久化:
cat redis.conf
- #Master config
- ###General 配置
- daemonize yes #使用daemon 方式运行程序,默认为非daemon方式运行
- pidfile /tmp/redis.pid #pid文件位置
- port 6379 #使用默认端口
- timeout 30 #client 端空闲断开连接的时间
- loglevel warning #日志记录级别,默认是notice,我这边使用warning,是为了监控日志方便。
- logfile /opt/logs/redis/redis.log #日志位置
- databases 16 #默认是0,也就是只用1 个db,我这边设置成16,方便多个应用使用同一个redis server。
- #snapshoot 持久化方式的策略。
- #为了保证数据相对安全,在下面的设置中,更改越频繁,SNAPSHOTTING越频繁,也就是说,压力越大反而花在持久化上的资源会越多。
- #所以我选择了master-slave模式,并在master关掉了SNAPSHOTTING。
- #save 900 1 #在900秒之内,redis至少发生1次修改则redis抓快照到磁盘
- #save 300 100 #在300秒之内,redis至少发生100次修改则redis抓快照到磁盘
- #save 60 10000 #在60秒之内,redis至少发生10000次修改则redis抓快照到磁盘
- rdbcompression yes #使用压缩
- dbfilename dump.rdb #SNAPSHOTTING的文件名
- dir /opt/data/redis/ #SNAPSHOTTING文件的路径
- #REPLICATION 设置
- #slaveof #如果这台机器是台redis slave,可以打开这个设置。
- #如果使用master-slave模式,将在master上把SNAPSHOTTING关了,这样可以不用在master上做持久化,
- #而是在slave上做,这样可以大大提高master 内存使用率和系统性能。
- #slave-serve-stale-data yes #如果slave 无法与master 同步,是否还可以读
- #SECURITY 设置
- #requirepass aaaaaaaaa #redis性能太好,用个passwd 意义不大
- #rename-command FLUSHALL "" #可以用这种方式关掉非常危险的命令,如FLUSHALL这个命令,
- #它清空整个 Redis 服务器的数据,而且不用确认且从不会失败
- #LIMIT 设置
- maxclients 0 #无client连接数量限制
- maxmemory 14gb #redis最大可使用的内存量,我的服务器内存是16G,如果使用redis SNAPSHOTTING的copy-on-write的持久会写方式,
- #会额外的使用内存,为了使持久(化)操作不会使用系统VM,使redis服务器性能下降,
- #建议保留redis最大使用内存的一半8G来留给持久化使用,我个人觉得非常浪费。我没有在master上不做持久化,使用主从方式
- maxmemory-policy volatile-lru #使用LRU算法删除设置了过期时间的key,但如果程序写的时间没有写key的过期时间,
- #建议使用allkeys-lru,这样至少保证redis不会不可写入。
- #APPEND ONLY MODE 设置
- appendonly no #不使用AOF,AOF是另一种持久化方式,我没有使用的原因是这种方式并不能在服务器或磁盘损坏的情况下,保证数据可用性。
- appendfsync everysec
- no-appendfsync-on-rewrite no
- auto-aof-rewrite-percentage 100
- auto-aof-rewrite-min-size 64mb
- #SLOW LOG 设置
- slowlog-log-slower-than 10000 #如果操作时间大于0.001秒,记录slow log,这个log是记录在内存中的,可以用redis-cli slowlog get 命令查看
- slowlog-max-len 1024 #slow log 的最大长度
- #VIRTUAL MEMORY 设置
- vm-enabled no #不使用虚拟内存,在redis 2.4版本,作者已经非常不建议使用VM。
- vm-swap-file /tmp/redis.swap
- vm-max-memory 0
- vm-page-size 32
- vm-pages 134217728
- vm-max-threads 4
- #ADVANCED CONFIG 设置,下面的设置主要是用来节省内存的,我没有对它们做修改
- hash-max-zipmap-entries 512
- hash-max-zipmap-value 64
- list-max-ziplist-entries 512
- list-max-ziplist-value 64
- set-max-intset-entries 512
- zset-max-ziplist-entries 128
- zset-max-ziplist-value 64
- activerehashing yes
- #INCLUDES 设置 ,使用下面的配置,可以配置一些个另其它的设置,如slave的配置
- #include /path/to/local.conf
- #include /path/to/other.conf
- #include /opt/redis/etc/slave.conf 如果是slave server,把这个注释打开
- #slave config
- #REPLICATION 设置
- slaveof redis01 6397 #如果这台机器是台redis slave,可以打开这个设置。如果使用master-slave模式,我就会在master上
- #把SNAPSHOTTING关了,这样可以不用在master上做持久化,而是在slave上做这样可以大大提高master内存使用率和系统性能。
- slave-serve-stale-data no #如果slave 无法与master 同步,设置成slave不可读,方便监控脚本发现问题。
- ###APPEND ONLY MODE 设置
- appendonly yes #在slave上使用了AOF,以保证数据可用性。
- 其它后继数据备份工作
- 1、用redis-cli bgsave 命令每天凌晨一次持久化一次master redis上的数据,并CP到其它备份服务器上。
- 2、用redis-cli bgrewriteaof 命令每半小时持久化一次 slave redis上的数据,并CP到其它备份服务器上。
- 3、写个脚本 ,定期get master和slave上的key,看两个是否同步,如果没有同步,及时报警
参考4
主从同步备份
- 1 主从同步目的目标
- 主从的主要目的:数据持久化,灾难恢复,冗余。主库不落地,减少消耗。
- 2 主从配置
- 从库安装配置同主库一致,主库无需任何改动(允许从库访问),从库需增加两个地方配置:slaveof && AOF 例如:
- slaveof 10.0.100.70
- masterauth dongnan
- appendonly yes
- appendfilename appendonly01.aof
- appendfsync everysec
- 3 备份
- 备份策略:
- 3.1 主库每晚12点串(?)行给每个实例做一次快照(bgsave);
- 3.2 从库每晚12点串行对AOF文件打包备份(tar),打包备份后做一次AOF文件压缩(bgrewriteaof)。
- 3.3 每天的数据起始点是前一天晚上rewriteaof后的数据。
- 3.4 主库每晚12点串行给每个实例做一次快照(bgsave)。
- 主库备份脚本(redis_bgsave.sh)
结束
更多请:
linux 相关 37275208
vmware 虚拟化相关 166682360
转载于:https://blog.51cto.com/dngood/932194