datax-admin
该项目二开DataX 实现DataX集群,为了方便使用,故开发了datax-admin服务统一管理。
DataX分布式集群与负载均衡、任务执行/统计,基于DataX的通用数据同步微服务,一个Restful接口搞定所有通用数据同步
DataX分布式集群负载均衡
Datax集群动态可伸缩
支持http方式提交DataX任务到集群运行
统计DataX执行信息以及本次执行脏数据
DataX分布式日志
DataX对源端分片执行,提高同步效率
基于多数据源自带接口可创表查表结构等接口,可快速开发web页面创建Datax任务
Datax任务管理,jobId全局唯一
Datax任务敏感信息脱敏,如密码
了解二开DataX详情,请移步DataX
Get Started
架构了解
按照说明文档DataX 启动DataX集群即可。
该项目需要动态数据源(数据中台多数据源统一接口) 支持,可clone下来,按照说明文档进行打包,
放到此项目dist/plugin目录(配置文件可配置)下,即${your_path}/data-audit-parent/dist/plugins/driver-xxx.jar
Introduction
1. 创建datax任务
可以基于数据源定制化web页面进行创建datax任务,后台接口请求示例
主要关注sync里面的reader,writer,setting,对应datax原生的reader,writer,setting,其余配置信息主要是reader和writer的数据源信息