mysql增量redis_MySQL数据实时增量同步到Redis

工具简介

go-mysql-transfer是一款MySQL数据库实时增量同步工具。 能够监听MySQL二进制日志(Binlog)的变动，将变更内容形成指定格式的消息，实时发送到接收端。从而在数据库和接收端之间形成一个高性能、低延迟的增量数据同步更新管道。

特性

1. 简单，不依赖其它组件，一键部署

2. 集成多种接收端，如：Redis、MongoDB、Elasticsearch、RocketMQ、Kafka、RabbitMQ、HTTP API等，无需编写客户端，开箱即用

3. 内置丰富的数据解析、消息生成规则、模板语法

4. 支持Lua脚本扩展，可处理复杂逻辑

5. 集成Prometheus客户端，支持监控告警

6. 集成Web Admin监控页面

7. 支持高可用集群部署

8. 数据同步失败重试

9. 支持全量数据初始化

如果此工具对你有帮助，请在github中Star支持下

安装部署

下载安装包

您可以直接下载编译好的安装包:  [点击下载](https://github.com/wj596/go-mysql-transfer/releases)

最新版本：v1.0.4 release

也可以自行编译：

1、依赖Golang 1.14 及以上版本

2、设置 ' GO111MODULE=on '

3、拉取源码 ' git clone https://github.com/wj596/go-mysql-transfer.git '

4、进入目录，执行  ' go build '编译

MySQL开启Binlog、主从复制

Linux操作系统在my.cnf文件，Windows操作系统在my.ini文件

按照下面配置开启binlog和replaction，如下所示：

log-bin=mysql-bin # 开启 binlog

binlog-format=ROW # 选择 ROW 模式

server_id=1 # 配置 MySQL replaction 需要定义，不要和 go-mysql-transfer 的 slave_id 重复

运行

1、修改app.yml

2、命令行运行

Windows直接运行 go-mysql-transfer.exe

Linux执行 nohup go-mysql-transfer &

基于源码构建docker镜像

1、拉取源码 ' git clone [https://github.com/wj596/go-mysql-transfer.git](https://github.com/wj596/go-mysql-transfer.git) '

2、修改配置文件 ' app.yml ' 中相关配置

3、构建镜像 ' docker image build -t go-mysql-transfer -f Dockerfile .  '

4、运行 ' docker run -d --name go-mysql-transfer -p 8060:8060 go-mysql-transfer:latest '

基于二进制可执行文件构建docker镜像

1、下载编译好的安装包:  [点击下载](https://github.com/wj596/go-mysql-transfer/releases)

2、解压，并修改配置文件 ' app.yml ' 中相关配置

3、构建镜像 ' docker image build -t go-mysql-transfer -f Dockerfile .  '

4、运行 ' docker run -d --name go-mysql-transfer -p 8060:8060 go-mysql-transfer:latest '

Redis配置

支持Redis部署模式：单机、主从(哨兵)、集群(cluster)

具体配置如下所示：

# app.yml

redis_addrs: 127.0.0.1:6379 #地址，多个用逗号分隔

#redis_group_type: cluster # 集群类型 sentinel或者cluster

#redis_master_name: mymaster # Master节点名称,如果group_type为sentinel则此项不能为空，为cluster此项无效

#redis_pass: 123456 #redis密码

#redis_database: 0 #redis数据库 0-16,默认0。如果group_type为cluster此项无效

同步数据为string类型

有t_user表，如下：

配置数据同步规则，如下：

rule:

-

schema: eseap #数据库名称

table: t_user #表名称

column_underscore_to_camel: true #列名称下划线转驼峰,默认为false

value_encoder: json #值编码

redis_structure: string # 数据类型。 支持string、hash、list、set、sortedset类型(与redis的数据类型一致)

redis_key_prefix: USER_ #key的前缀

redis_key_column: USER_NAME #使用哪个列的值作为key，不填写默认使用主键

同步到Redis的数据，如下：

同步数据为list类型

有t_user表，如下：

配置数据同步规则，如下：

rule:

-

schema: eseap #数据库名称

table: t_user #表名称

column_underscore_to_camel: true #列名称下划线转驼峰,默认为false

value_formatter: '{{.ID}}|{{.USER_NAME}}' # 值格式化表达式，如：{{.ID}}|{{.USER_NAME}},{{.ID}}表示ID字段的值、{{.USER_NAME}}表示USER_NAME字段的值

redis_structure: list

redis_key_value: user_list #key的值(固定值)；当redis_structure为hash、list、set、sortedset此值不能为空

同步到Redis的数据，如下：

同步数据为set类型

有t_user表，如下：

配置数据同步规则，如下：

rule:

-

schema: eseap #数据库名称

table: t_user #表名称

column_underscore_to_camel: true #列名称下划线转驼峰,默认为false

value_formatter: '{{.ID}}|{{.USER_NAME}}' # 值格式化表达式，如：{{.ID}}|{{.USER_NAME}},{{.ID}}表示ID字段的值、{{.USER_NAME}}表示USER_NAME字段的值

redis_structure: set

redis_key_value: user_set #key的值(固定值)；当redis_structure为hash、list、set、sortedset此值不能为空

同步到Redis的数据，如下：

同步数据为order set类型

有t_user表，如下：

配置数据同步规则，如下：

rule:

-

schema: eseap #数据库名称

table: t_user #表名称

column_underscore_to_camel: true #列名称下划线转驼峰,默认为false

value_formatter: '{{.ID}}|{{.USER_NAME}}' # 值格式化表达式，如：{{.ID}}|{{.USER_NAME}},{{.ID}}表示ID字段的值、{{.USER_NAME}}表示USER_NAME字段的值

redis_structure: sortedset

redis_key_value: users #key的值(固定值)；当redis_structure为hash、list、set、sortedset此值不能为空

redis_sorted_set_score_column: CREATE_TIME #sortedset的score，当数据类型为sortedset时，此项不能为空，此项的值应为数字类型

同步到Redis的数据，如下：

同步数据为hash类型

有t_user表，如下：

配置数据同步规则，如下：

rule:

-

schema: eseap #数据库名称

table: t_user #表名称

column_underscore_to_camel: true #列名称下划线转驼峰,默认为false

value_encoder: json #值编码，支持json、kv-commas、v-commas

redis_structure: hash

redis_key_value: user_cache #key的值(固定值)；当redis_structure为hash、list、set、sortedset此值不能为空

redis_hash_field_prefix: user_name_ #hash的field前缀，仅redis_structure为hash时起作用

redis_hash_field_column: user_name #使用哪个列的值作为hash的field，仅redis_structure为hash时起作用，不填写默认使用主键

同步到Redis的数据，如下：

使用Lua脚本实现复杂数据转换逻辑

示例一，同时插入多条记录

有t_user表，如下：

定义Lua脚本，如下：

-- t_user_redis.lua

local json = require("json") -- 加载json模块

local ops = require("redisOps") --加载redis操作模块

local row = ops.rawRow() --数据库当前变更的一行数据,table类型，key为列名称

local action = ops.rawAction() --当前数据库事件,包括：insert、updare、delete

local id = row["ID"] --获取ID列的值

local userName = row["USER_NAME"] --获取USER_NAME列的值

local key = "user_"..id -- 定义key

if action == "delete" -- 删除事件

then

ops.DEL(key)

ops.SREM("user_set",userName)

else

local password = row["PASSWORD"] --获取USER_NAME列的值

local createTime = row["CREATE_TIME"] --获取CREATE_TIME列的值

local result = {} -- 定义一个table

result["id"] = id

result["userName"] = userName

result["password"] = password

result["createTime"] = createTime

result["source"] = "binlog" -- 数据来源

local val = json.encode(result) -- 将newTable转为json

ops.SET(key,val) -- 对应Redis的SET命令，第一个参数为key(支持string类型)，第二个参数为value

if action == "update" -- 修改事件

then

local oldRow = ops.rawOldRow() --数据库变更之前的数据(修改之前的数据)

local oldUserName = oldRow["USER_NAME"] --获取USER_NAME列的值

ops.SREM("user_set",oldUserName) -- 删除旧值

end

ops.SADD("user_set",userName) -- 对应Redis的SADD命令，第一个参数为key(支持string类型)，第二个参数为value

end

在数据同步规则中引入脚本，如下：

rule:

-

schema: eseap

table: t_user

lua_file_path: t_user_redis.lua #lua脚本文件

同步到Redis的数据，如下：

示例二，将talbe中的一行映射成一个HASH

有t_user表，如下：

定义Lua脚本，如下：

-- t_user_redis2.lua

local ops = require("redisOps") --加载redis操作模块

local row = ops.rawRow() --当前数据库的一行数据,table类型，key为列名称

local action = ops.rawAction() --当前数据库事件,包括：insert、updare、delete

if action == "insert" -- 只监听insert事件

then

local key = row["USER_NAME"] --获取USER_NAME列的值

local id = row["ID"] --获取ID列的值

local userName = row["USER_NAME"] --获取USER_NAME列的值

local password = row["PASSWORD"] --获取PASSWORD列的值

local createTime = row["CREATE_TIME"] --获取CREATE_TIME列的值

ops.HSET(key,"id",id) -- 对应Redis的HSET命令

ops.HSET(key,"userName",userName) -- 对应Redis的HSET命令

ops.HSET(key,"password",password) -- 对应Redis的HSET命令

ops.HSET(key,"createTime",createTime) -- 对应Redis的HSET命令

end

在数据同步规则中引入脚本，如下：

rule:

-

schema: eseap

table: t_user

lua_file_path: t_user_redis2.lua #lua脚本文件

同步到Redis的数据，如下：