redis主从同步参数repl_backlog_size测算

最新推荐文章于 2023-11-29 10:26:24 发布

MyySophia

最新推荐文章于 2023-11-29 10:26:24 发布

阅读量4.2k

点赞数 3

分类专栏： Codis/Redis

本文链接：https://blog.csdn.net/MyySophia/article/details/107126459

版权

Codis/Redis 专栏收录该内容

52 篇文章 3 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了Redis主从同步中repl_backlog_size参数的重要性，分析了主从断开与数据不一致的问题，以及如何通过计算公式评估合适的缓冲空间大小。文中介绍了获取和分析主库offset数据的步骤，最终讨论了repl_backlog_size的官方解释和实际应用中的疑虑。

摘要由CSDN通过智能技术生成

三、关于repl-backlog-size

一、背景

repl-backlog-size控制这个环形缓冲区.

主从断开之后会发生什么？环形队列被覆盖会发生什么？

如果从库的读取速度比较慢，就有可能导致从库还未读取的操作被主库新写的操作覆盖了，这会导致主从库间的数据不一致。

repl_backlog_buffer 是一个环形缓冲区，主库会记录自己写到的位置，从库则会记录自己已经读到的位置。

主从库的连接恢复之后，从库首先会给主库发送 psync 命令，并把自己当前的 slave_repl_offset 发给主库，主库会判断自己的 master_repl_offset 和 slave_repl_offset 之间的差距。

在不影响正常业务的情况下redis主从同步时总会出现timeout，部分同步失败的情况。需要评估一下repl-backlog-size的大小，来避免复制时出现异常

二、步骤

0.理论支持

这个参数和所需的缓冲空间大小有关。缓冲空间的计算公式是：缓冲空间大小 = 主库写入命令速度 * 操作大小 - 主从库间网络传输命令速度 * 操作大小。在实际应用中，考虑到可能存在一些突发的请求压力，我们通常需要把这个缓冲空间扩大一倍，

即 repl_backlog_size = 缓冲空间大小 * 2，这也就是 repl_backlog_size 的最终值。

如果主库每秒写入 2000 个操作，每个操作的大小为 2KB，网络每秒能传输 1000 个操作，那么，有 1000 个操作需要缓冲起来，这就至少需要 2MB 的缓冲空间。否则，新写的命令就会覆盖掉旧操作了。为了应对可能的突发压力，我们最终把 repl_backlog_size 设为 4MB。

1、获取数据

借助redis-cli 、info replication..收集master_repl_offset每一分钟前后的数据，其中使用了sed 和awk命令对数据进行处理，为后期分析提供便利。

脚本如下

#!/bin/bash
# @date: 2020-07-02
# @author: ninesun
# @parm : null
# @desc: save master_repl_offset by mins

echo "start！"
for((i=6379; i<6387; i++))
do
redis-cli -p $i info replication|grep master_repl_offset|sed 's/:/|/g'|awk '{print strftime("%Y-%m-%d %H:%M:%S"),$0}'|sed 's/ /|/g'|sed 's/|/ /'|sed '
s/^/'$i\|'/' >> /home/scripts/redis/redisParm.csv
echo "port $i save successful!"
done
echo "end!"

2、结果

3、分析数据并评估大小

将格式化号的数据借助GP的gpfdist装载到数据库中。

3.1 建表

create table sor.redisparam_info
( port character varying( 50 ), evt_timestamp timestamp( 0 ) without time zone, 
param character varying( 200 ),param_value character varying( 200 ),
CONSTRAINT redisparam_info_pkey PRIMARY KEY (evt_timestamp,port))
DISTRIBUTED by( evt_timestamp )
partition by range( evt_timestamp )( partition p202004 start( '2020-04-01'::date )
end( '2020-04-30'::date ), partition p202005 start( '2020-05-01'::date )
end( '2020-05-31'::date ), partition p202006 start( '2020-06-01'::date )
end( '2020-06-30'::date ), partition p202007 start( '2020-07-01'::date )
end( '2020-07-31'::date ), partition p202008 start( '2020-08-01'::date )
end( '2020-08-31'::date ), partition p202009 start( '2020-09-01'::date )
end( '2020-09-30'::date ), partition p202010 start( '2020-10-01'::date )
end( '2020-10-31'::date ), partition p202011 start( '2020-11-01'::date )
end( '2020-11-30'::date ), partition p202012 start( '2020-12-01'::date )
end( '2020-12-31'::date ));

drop external table ext_redisparam_info	

CREATE EXTERNAL TABLE ext_redisparam_info (like sor.redisparam_info) LOCATION (
    'gpfdist://******:8100/redisParm.csv'
) FORMAT 'text' (delimiter E'|' null E'\\N' escape E'\\') 
 SEGMENT REJECT LIMIT 1000 ROWS

3.2 使用表数据分析。

开启gpfdist后，如果不需要存入堆表，可直接在外部表上进行分析。

分析sql如下，逻辑为by 时间排序，计算前后两者差距。使用

select *,round(t.diff/1024.0,2) as kb,round(t.diff/1024.0/1024.0,2) mb
from( select *, param_value::bigint -( lead( param_value::bigint ) over(
order by evt_timestamp desc )) as diff
from sor.redisparam_info
where port = '6384'
 ) t

结果

3.3 最终分析结果

取8个node的平均值，最终得到一个估计结果。

三、关于repl-backlog-size

这个参数官方的解释。

# Set the replication backlog size. The backlog is a buffer that accumulates
# slave data when slaves are disconnected for some time, so that when a slave
# wants to reconnect again, often a full resync is not needed, but a partial
# resync is enough, just passing the portion of data the slave missed while
# disconnected.
#
# The bigger the replication backlog, the longer the time the slave can be
# disconnected and later be able to perform a partial resynchronization.
#
# The backlog is only allocated once there is at least a slave connected.
#
# repl-backlog-size 1mb

我的疑问

https://github.com/redis-io/redis/issues/1400