redis-full-check与阿里云redis数据一致性检查

最新推荐文章于 2024-05-18 09:55:29 发布

阿拉斯加大闸蟹

最新推荐文章于 2024-05-18 09:55:29 发布

阅读量2.2k

点赞数 3

分类专栏： Redis

本文链接：https://blog.csdn.net/singgel/article/details/105683781

版权

Redis 专栏收录该内容

43 篇文章 2 订阅

订阅专栏

问题：

采用阿里云的redis-shake进行redis数据同步的过程中遇见需要进行数据一致性比对

分析：

理论：CRDT--https://yq.aliyun.com/articles/635628

幸运的是CRDT目前仅支持redis 4.0版本，雪球使用的就是redis4

解决：

采用阿里云开源组件：redis-full-check

准备：

1.下载组件

2.启动命令

nohup ./redis-full-check -s '涉密隐藏' --sourcedbtype=1 -t 涉密隐藏:6379 --targetdbtype=2 --comparemode=1 1>>redis-full-check.output 2>&1 &

已经封装在start.sh脚本中

#!/usr/bin/env bash
 
catalog=$(dirname "$0")
 
cd "${catalog}" || exit 1
 
if [ $# != 2 ] ; then
    echo "USAGE: $0 [source] [target]"
    exit 0
fi
 
name="redis-full-check"
 
if [ "Linux" != "$(uname -s)" ];then
    printf "\\nWARNING !!! MacOs doesn't supply to use this script, please use \"./%s -conf=config_file_name\" manual command to run\\n" "$name"
    exit 1
fi
 
nohup ./redis-full-check -s $1 --sourcedbtype=1 -t $2 --targetdbtype=2 --comparemode=1 1>>$name.output 2>&1 &

参数解释：

-s, --source=SOURCE               源redis库地址（ip:port），如果是集群版，那么需要以分号（;）分割不同的db，只需要配置主或者从的其中之一。例如：10.1.1.1:1000;10.2.2.2:2000;10.3.3.3:3000。
-p, --sourcepassword=Password     源redis库密码
    --sourceauthtype=AUTH-TYPE    源库管理权限，开源reids下此参数无用。
    --sourcedbtype=               源库的类别，0：db(standalone单节点、主从)，1: cluster（集群版），2: 阿里云
    --sourcedbfilterlist=         源库需要抓取的逻辑db白名单，以分号（;）分割，例如：0;5;15表示db0,db5和db15都会被抓取
-t, --target=TARGET               目的redis库地址（ip:port）
-a, --targetpassword=Password     目的redis库密码
    --targetauthtype=AUTH-TYPE    目的库管理权限，开源reids下此参数无用。
    --targetdbtype=               参考sourcedbtype
    --targetdbfilterlist=         参考sourcedbfilterlist
-d, --db=Sqlite3-DB-FILE          对于差异的key存储的sqlite3 db的位置，默认result.db
    --comparetimes=COUNT          比较轮数
-m, --comparemode=                比较模式，1表示全量比较，2表示只对比value的长度，3只对比key是否存在，4全量比较的情况下，忽略大key的比较
    --id=                         用于打metric
    --jobid=                      用于打metric
    --taskid=                     用于打metric
-q, --qps=                        qps限速阈值
    --interval=Second             每轮之间的时间间隔
    --batchcount=COUNT            批量聚合的数量
    --parallel=COUNT              比较的并发协程数，默认5
    --log=FILE                    log文件
    --result=FILE                 不一致结果记录到result文件中，格式：'db    diff-type    key    field'
    --metric=FILE                 metric文件
    --bigkeythreshold=COUNT       大key拆分的阈值，用于comparemode=4
-f, --filterlist=FILTER           需要比较的key列表，以竖线（|）分割。例如："abc*|efg|m*"表示对比'abc', 'abc1', 'efg', 'm', 'mxyz'，不对比'efgh', 'p'。
-v, --version

3.日志分析

# 第一部分 初始化校验

# 第二部分 开始通过scan比较

# 第三部分 开始比较第二轮

# 第三部分 开始比较第三轮

# 第四部分 校验结束

# 第一部分初始化校验

[INFO 2020-03-31-22:15:56 main.go:65]: init log success

[INFO 2020-03-31-22:15:56 main.go:168]: configuration: {涉密隐藏 auth 1 -1 涉密隐藏:6379 auth 2 -1 result.db 3 1 unknown unknown unknown 15000 5 256 5 false 16384 20445 false}

[INFO 2020-03-31-22:15:56 main.go:170]: ---------

[INFO 2020-03-31-22:15:56 full_check.go:238]: sourceDbType=1, p.sourcePhysicalDBList=[10.10.52.100:24695 10.10.52.100:24691]

[INFO 2020-03-31-22:15:56 full_check.go:241]: db=0:keys=0(inaccurate for type cluster)

[INFO 2020-03-31-22:15:56 full_check.go:253]: ---------------- start 1th time compare

[INFO 2020-03-31-22:15:56 full_check.go:278]: start compare db 0

[INFO 2020-03-31-22:15:56 scan.go:20]: build connection[source redis addr: [涉密隐藏]]

# 第二部分开始通过scan比较

[INFO 2020-03-31-22:15:58 full_check.go:203]: stat:

times:1, db:0, dbkeys:0, finish:-1%, finished:false

KeyScan:{354420 0 177210}

KeyEqualInProcess|string|equal|{90543 0 45272}

[INFO 2020-03-31-22:21:16 full_check.go:203]: stat:

times:1, db:0, dbkeys:0, finish:-1%, finished:false

KeyScan:{30344088 0 63457}

KeyEqualInProcess|string|equal|{30115621 0 81155}

[INFO 2020-03-31-22:21:18 full_check.go:203]: stat:

times:1, db:0, dbkeys:0, finish:-1%, finished:false

KeyScan:{30344088 0 0}

KeyEqualInProcess|string|equal|{30283336 0 83858}

[INFO 2020-03-31-22:21:19 full_check.go:203]: stat:

times:1, db:0, dbkeys:0, finish:-1%, finished:true

KeyScan:{30344088 0 0}

KeyEqualInProcess|string|equal|{30344088 60752 83858}

# 第三部分开始比较第二轮

[INFO 2020-03-31-22:21:19 full_check.go:250]: wait 5 seconds before start

[INFO 2020-03-31-22:21:24 full_check.go:253]: ---------------- start 2th time compare

[INFO 2020-03-31-22:21:24 full_check.go:278]: start compare db 0

[INFO 2020-03-31-22:21:24 full_check.go:203]: stat:

times:2, db:0, finished:true

KeyScan:{0 0 0}

# 第三部分开始比较第三轮

[INFO 2020-03-31-22:21:24 full_check.go:250]: wait 5 seconds before start

[INFO 2020-03-31-22:21:29 full_check.go:253]: ---------------- start 3th time compare

[INFO 2020-03-31-22:21:29 full_check.go:278]: start compare db 0

[INFO 2020-03-31-22:21:29 full_check.go:203]: stat:

times:3, db:0, finished:true

KeyScan:{0 0 0}

# 第四部分校验结束

[INFO 2020-03-31-22:21:29 full_check.go:328]: --------------- finished! ----------------

all finish successfully, totally 0 key(s) and 0 field(s) conflict

4.结果分析

结果：没有冲突

耗时：5:18

分析数据量：30344089个key 共5.78G数据

3034

时间戳	动作
2020-03-31-22:15:56	init log success
2020-03-31-22:15:56	---------------- start 1th time compare
2020-03-31-22:21:24	---------------- start 2th time compare
2020-03-31-22:21:29	---------------- start 3th time compare
2020-03-31-22:21:29	--------------- finished! ----------------

阿拉斯加大闸蟹

关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
redis-full-check与阿里云redis数据一致性检查

问题：采用阿里云的redis-shake进行redis数据同步的过程中遇见需要进行数据一致性比对分析：理论：CRDT--https://yq.aliyun.com/articles/635628幸运的是CRDT目前仅支持redis 4.0版本，雪球使用的就是redis4解决：采用阿里云开源组件：redis-full-check准备：1.下载组件2.启动命令...
复制链接

扫一扫

专栏目录