什么是etl-engine
- 产品由etl-engine引擎和etl-designer云端设计器及crontab调度组成,
- etl-engine引擎负责解析etl配置文件并执行etl任务,
- etl-designer云端设计器通过拖拉拽的方式生成etl-engine引擎可识别的etl任务配置文件,
- crontab调度设计器负责按时间周期执行指定的etl任务,crontab调度还提供了查询etl任务执行日志功能,
- 三部分组成了etl解决方案,可集成到任意使用场景。
如何使用
run_graph(etl-engine)
- 使用手册
github.com/hw2499/etl-engine
- 命令行执行样本
run_graph -fileUrl <配置文件> -logLevel trace
run_crontab(集成etl-designer和etl-crontab)
- 使用手册
github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6
- 命令行执行样本
run_crontab -fileUrl <配置文件>
如何下载
选择最版本使用
github.com/hw2499/etl-engine/releases