Web版ETL工具

Web版ETL工具

源码地址：https://gitee.com/easy_way/web-etl-tool

介绍

本系统基于两个开源组件进行组合，完成在线ETL规则编排和任务可视化管理。其中tomcat中内置了spoon程序，dataCollection组件基于定时任务的方式，集成了spoon脚本执行的功能。

软件架构

• dataCollection --------------- 定时任务管理模块，驱动spoon脚本定时执行
• apache-tomcat-8.0.39 --------- spoon项目启动容器，启动后编辑脚本，存入资源库
• debug------------准备了1个示例，可以实现数据库之间的同步，一个是job，一个是转换文件，job中自动引用了该转换文件
• sql------------里面有3个sql文件，其中kettle_resource.sql是kettle工具对应的数据库，data_collection.sql是dataCollection对应的数据库，db1.sql是debug测试示例中需要的数据库

安装教程

1. 数据库中新建data_collection和kettle_resource库，导入sql脚本（数据库设置成useSSL=false且大小写不敏感）；
2. Spoon.bat和catalina.bat增加-Dfile.encoding=UTF-8（已加）；
3. 启动tomcat下的spoon项目，访问http://localhost:8080/spoon/spoon连接资源库，输入用户名admin密码admin，新建转换和作业；
4. data_collection导入到idea启动，访问http://localhost:7080/

使用说明

1、Kettle-Spoon使用

大家可以参考网上的示例，创建对应的job和转换文件，本仓库自带的“测试作业.kjb”和“测试一下.ktr”可以实现数据库之间表数据同步。

2、定时任务平台操作步骤

访问http://localhost:7080/后即可进入平台主页，按照以下步骤进行配置

• 1、配置资源库
• 2、配置定时策略
• 3、新建任务，启动
• 4、监控管理查看执行日志

参与贡献

1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request

特技

1. 使用 Readme_XXX.md 来支持不同的语言，例如 Readme_en.md, Readme_zh.md
2. Gitee 官方博客 blog.gitee.com
3. 你可以 https://gitee.com/explore 这个地址来了解 Gitee 上的优秀开源项目
4. GVP 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5. Gitee 官方提供的使用手册 https://gitee.com/help
6. Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 https://gitee.com/gitee-stars/