kettle学习日记(Pentaho Data Integration)

一、什么是kettle

●一个用java开发的软件，可以对数据进行一系列操作，例如数据整合、数据转换、数据迁移、数据导出报表等。

●Kettle其实叫Pentaho Data Integration，Pentaho是公司名，Data Integration是数据整合。

●Pentaho Data Integration分为商业版与开源版，在中国，一般人仍习惯把Pentaho Data Integration的开源版称为Kettle。

 

二、常用功能

本人所在的公司常用kettle把某个数据库中某张表的数据导出到另一个数据库的某张表中。

可以在kettle中写sql语句，查询出需要的数据来，然后进行一些配置，配置好目标数据库表的路径、字段的对应方式，就可以进行数据导出了。

 

三、学习日记

1.安装kettle后，会在硬盘出现一个data-integration的文件夹；进入该文件夹，双击Spoon.bat，启动kettle。

2.点击左上角菜单"文件-新建"，可以看到，可以新建转换、作业、数据库连接。

3.练习如何用kettle把一张表的数据导入另一张表。

(1)新建一个转换。

(2)新建一个数据库连接，选择连接类型为Mysql，连接方式为Native(JDBC)，并填写主机名称、数据库名称、端口号、用户名、密码，测试连接通了后，点击确认。

(3)可以看到，左侧"主对象树"中，有新建的"转换1"下拉列表，其中"DB连接"中有刚才新建的数据库连接。

(4)将"DB连接"下新建的数据库连接拖动到右侧"转换1"的工作空间中，出现对话框："表输入"；其中可以写select的sql，查询出待导入数据。

例如：select * from testTable;

点击确认，工作空间中就会出现"表输入"图标。

(5)点击左侧的"核心对象-输出"，找到"表输出"，拖动到右侧工作空间中。(可以看到还有很多其他的输出方式，例如excel输出等)

(6)此时右侧出现"表输出"图标；先单击"表输入"，选择下方出现的出门样式的图标，可以连线到"表输入"图标上。

(7)双击"表输出"，填写对话框，选择对数据库连接、目标表，例如要导出到表testTable_copy；如果两张表类似，则可以直接点击确定；否则可以勾选"指定数据库字段"，选择"数据库字段"栏，填写下方的"表字段"、"流字段"中的内容，可以用下拉框的方式填写，十分方便。

(8)确定后，点击工作空间左上方的三角图标，"运行这个转换"，会提示"先保存转换文件"，保存后(ktr文件)，就会执行，执行完毕后，就可以看到目标表中出现了导出的数据。

(9)如果遇到错误，可以在下方的"执行结果"栏中，"步骤度量"或"日志"栏中查看日志等信息，分析为什么错了。

4.kettle(Pentaho Data Intergration)v7.1版本中，支持的输入有：

Access输入、csv文件输入、cube文件输入、excel输入、gzip csv input、google analytics、HL7 input、ldap输入、ldif输入、mondrian输入、olap输入、rss输入、sas输入、salesforce input、xbase输入、yaml输入、固定宽度文件输入、文件内容加载至内存、文本文件输入、生成记录、生成随机数、生成随机的信用卡号、自定义常量数据、获取子目录名、获取文件名、获取文件行数、获取系统信息、获取表名、获取资源库配置、表输入、邮件信息输入、配置文件输入 等。

支持的输出有：

Access输出、cube输出、excel输出、ldap输出、microsoft excel输出、pentaho报表输出、rss输出、S3 File Output、sql文件输出、salesforce delete、salesforce insert、salesforce update、salesforce upsert、删除、插入/更新、数据同步、文本文件输出、更新、自动文档输出、表输出、配置文件输出 等。

5.kettle的工作空间是"图标-连线"形式的，可以指定操作的顺序，易于使用。