Kettle 工具使用

kettle简介

1.数据仓库领域的一个重要概念就是数据整合。数据整合就是把不同数据库中的数据组合到一起，对外提供统一的数据视图。 
2.kitchen用于执行作业，pan用于执行转换。 
3.跳就是从一个作业项/步骤的中心连接到另一个作业项/步骤的一条线。在作业里跳定义的是控制流，在转换里跳定义的是数据流。 
4.转换(transformation)是etl解决方案中最主要的部分，它处理抽取，转换，加载各阶段各种对数据行的操作。转换ID是数字，但是作业ID就是字符串。转换里的很多步骤是并行执行的，每个步骤都打开一个独立的数据库连接并开始一个事务。尽管这样在很多情况下会提高性能，但当不同步骤更新同一个表时，也会带来锁和参照完整性的问题。 
5.kettle以插件的方式灵活地定义不同种类的资源库，但不论是哪种资源库，他们的基本要素是相同的：这些资源库都使用相同的用户界面，存储相同的原数据。目前有三种常见的资源库：数据资源库，Pentaho资源库，文件资源库。 
6.KITCHEN允许你批量使用由Chef设计的任务(例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。 
7.Kettle中有两种脚本文件，transformation和job。transformation完成针对数据的基础转换，job则完成整个工作流的控制。 
8.Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen 
9.SPOON 允许你通过图形界面来设计ETL转换过程（Transformation）。 
10.PAN 允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序，没有图形界面。 
11.CHEF 允许你创建任务（Job）。