1.Kettle说明
Kettle是一款国外开源的ETL工具,纯java编写,可以在不同系统平台上运行,绿色无需安装,数据抽取高效稳定,操作简单快捷。Kettle这个ETL工具集,它允许管理来自不同类型的数据库的数据及其他类型的文本数据, 通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。 Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
提供了丰富的组件来满足不同类型的数据间的转换等。但是由于kettle在任务执行监控及任务调度管理及参数方面不能很好的满足需要,在kettle的基础上开发了一套kettle执行的任务管理系统,以便来满足日常的任务执行及定时调度等。 基于carte的方式运行来远程执行任务。
kettle的安装启动步骤如下:
解压即可使用 window系统点击 spoon.bat启动 linux系统启动 spoon.sh文件 解压完成后,我们需要关注Kettle的几个关键目录和文件
1.Spoon:这是Kettle为我们提供的Spoon图形化界面启动程序,bat是在Windows环境下运行,sh则是在 类似Unix环境中运行,用于创建/编辑作业或者转换
2.Pan:我们通过Spoon创建了转换或者作业后,如果是保存在本地磁盘的话,会生成响应的文件,转换文件是以.ktr结尾,而Pan是转换的命令行执行程序,
3.Kitchen:作业文件以.kjb结尾,而Kitchen是作业的命令行执行程序
4.Carte:轻量级的HTTP服务器(依托于Jetty实现),后台的方式运行,监听HTTP请求来运行一个作业.Carte也可用于分布式和协调跨机器执行作业,即Kettle集群方式.
5.lib:该目录是Kettle依赖的第三方Jar包目录,如果我们在使用Kettle进行数据库导入的话,此时如果Kettle中没有该数据库的驱动Jar包时,我们需要将从网站上下载的驱动Jar放到该lib目录下,然后重启程序进行调试,否则会报错(驱动