1. Kettle工具介绍
- Kettle是一款国外开源的ETL工具,纯Java编写,开业在Windows、Linux、Unix上运行,可以高效稳定的完成数据抽取。
- Kettle中文名叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出
- Kettle的下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/3.2.0-stable/
Kettle和Informatica相比,两者各自的优点如下表所示:
- Kettle基础知识
- Kettle开发流程
- Kettle组件介绍
- Kettle案例介绍
2 Kettle基础知识
-
Spoon——转换(transform)设计工具(GUI方式):通过图形界面来设计ETL转换过程(transformation)和作业(Job);
-
Pan——转换(transform)执行器(命令行方式):Pan允许批量运行有Spoon设计的ETL转换(例如使用时间调度器),Pan是一个后台执行的程序,没有图形界面。
-
Kitchen——工作(Job)执行器(命令行方式):Kitchen允许批量使用由Chef设计的任务(例如使用一个时间调度器),它也是一个后台运行程序。
-
Carte——基于Jetty的,监听Http请求
-
Encr——用户加密密码
Job和Transformation的差别:Tranformation专注于数据的ETL,而Job的范围比较广,可以是Tranformation,也可以是Mail、SQL、Shell和FTP等,甚至可以是另外一个Job。
3 Kettle的开发流程
Kettle的开发流程如下:
- 双击运行Kettle目录下的Spoon.bat,出现kettle欢迎界面;
- 创建资料库(可省略);
- 创建数据库连接;
- 创建转换;
- 创建Jobs,进行流程化控制。
4 Kettle组件介绍
4.1 数据源获取数据
4.2 数据更新
5 Kettle随机数案例介绍
5.1 Kettle软件的启动
5.2 Kettle软件的核心对象
5.3 Kettle生成随机数的步骤