数据增量同步工具 Zero 支持Redis、Redis-Cluster、ES、Kafka、Mongodb、Postgresql、TiDB、数据审计 超高性能 Golang

Zero

用途:

(部分功能未开源)
已开源地址: https://github.com/gitstliu/MysqlToAll
未开源部分请联系博主
一种输入可以产生多种途径的输出。
已支持的输入输出:

input:

1. mysql

output:

1. datafile
2. elasticsearch
3. hbase
4. kafka
5. mongodb
6. mysql
7. postgresql
8. redis
9. rediscluster

input:

1. mongo

output:

1. elasticsearch
2. hbase

特点:

input mysql支持多数据源多接收方

1. 单数据源配置多接收方时,支持近似数据同步(在出错的情况下可能相差最后一批数据)
2. redis及redis-cluster支持key格式化配置,支持json和分割字符串两种方式的数据存储。支持多种数据类型的处理
3. mongodb支持audit模式(可以把指定数据表的变化存入mongodb)和normal两种模式,并支持高速模式(打开时不支持upsert,关闭支持upsert)可以完全发挥mongodb的高性能
4. postgresql不支持upser