DataX-Web
DataX阿里在开源的时候并未提供任何可视化界面,我们在使用的过程中,需要将Json配置文件放到DataX的job路径下,随着业务的增加,配置文件不方便管理和迁移并且每次执行都需要记录命令。 目前DataX只支持单机版,多节点之间的协作不能控制,我们希望能有一款有友好的可视化界面,支持定时任务,支持分布式的数据同步利器,这也是该项目的目标。
System Requirements
Language: Java 8(jdk版本建议1.8.201以上)
Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下)
Environment: MacOS, Windows,Linux
Database: Mysql5.7
Features
1、通过Web构建DataX Json;
2、DataX Json保存在数据库中,方便任务的迁移,管理;
3、Web实时查看抽取日志,类似Jenkins的日志控制台输出功能;
4、DataX运行记录展示,可页面操作停止DataX作业;
5、支持DataX定时任务,支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;
6、调度采用中心式设计,支持集群部署;
7、任务分布式执行,任务"执行器"支持集群部署;
8、执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行;
9、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
1