Kettle
1. Kettle 开源的 ETL 工具
1-1. Kettle 的介绍
ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程, 我们经常会遇到各种数据的处理,转换,迁移,所以掌握一种 ETL 工具的使用必不可少。
Kettle 支持图形化的GUI设计界面,然后可以以工作流的形式流转,熟练它可以减少非常多的研发工作量,提高工作效率。
Kettle 允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么。
Kettle 中有两种脚本文件,transformation 和 job.
transformation 完成针对数据的基础转换.
job 则完成整个工作流的控制。
1-2. Kettle 家族产品
Kettle家族目前包括 4 个产品:Spoon、Pan、CHEF、Kitchen。
Spoon 允许你通过图形界面来设计 ETL 转换过程(Transformation)。
Pan 允许你批量运行由 Spoon 设计的 ETL 转换 (例如使用一个时间调度器)。Pan 是一后台执行的程序,没图界面。
Chef 允许你创建任务(Job)。 任务通过允许每个转换,任务,脚本等等,更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换,任务,脚本等等。任务将会被检查,看看是否正确地运行了。
Kitchen 允许你批量使用由 Chef 设计的任务