datax同步分布式mysql_GitHub - suhuaguo/datax-admin: DataX分布式集群与负载均衡、任务执行/统计，基于DataX的通用数据同步微服务，一个Restful接口...

datax-admin

该项目二开DataX 实现DataX集群，为了方便使用，故开发了datax-admin服务统一管理。

DataX分布式集群与负载均衡、任务执行/统计，基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步

DataX分布式集群负载均衡

Datax集群动态可伸缩

支持http方式提交DataX任务到集群运行

统计DataX执行信息以及本次执行脏数据

DataX分布式日志

DataX对源端分片执行，提高同步效率

基于多数据源自带接口可创表查表结构等接口，可快速开发web页面创建Datax任务

Datax任务管理，jobId全局唯一

Datax任务敏感信息脱敏，如密码

了解二开DataX详情，请移步DataX

Get Started

架构了解

按照说明文档DataX 启动DataX集群即可。

该项目需要动态数据源(数据中台多数据源统一接口) 支持，可clone下来，按照说明文档进行打包，

放到此项目dist/plugin目录(配置文件可配置)下，即${your_path}/data-audit-parent/dist/plugins/driver-xxx.jar

Introduction

1. 创建datax任务

可以基于数据源定制化web页面进行创建datax任务，后台接口请求示例

主要关注sync里面的reader，writer，setting，对应datax原生的reader，writer，setting，其余配置信息主要是reader和writer的数据源信息