Kettle简介
Kettle是一个Java编写的ETL工具,可以简化数据仓库的创建,更新和维护,使用Kettle可以构建一套开源的ETL解决方案。
官方社区https://community.hitachivantara.com/community/products-and-solutions/pentaho
实例流程简介
本文是针对刚接触ETL及Kettle使用的新手所分享的实例,文中几乎涉及大部分常用的组件,原则上尽量多用组件,少写js代码,让kettle功能最大发挥。
kettle的安装启动就不多赘述了,结合需求与自身能力,整个实例的流程是这样的:
- 从数据库中取出人员信息;
- 处理人员信息;
- 获取人员打卡信息;
- 将打卡信息入库;
流程图如下:
从数据库中取出人员信息
人员信息也可以从企业微信开发端接口获取,但这里把人员信息事先都放在数据库里了,这样更加方便获取,且能减少接口的频繁调用。
首先新建转换"连接数据库",为了从数据库取人员信息
表输入,连接数据库,并查出人员信息并放入结果集,方便之后获取。