KETTLE——初见KETTLE

就在前一段时间,因为公司需要突然被老大告知要用一个ETL工具,第一次订到这么个工具,完全不知道是做什么的。大概问了一下,说是一种数据转化工具。这就开始了:

1.了解什么是ETL:百度百科ETL

2.查找合适的ETL工具:支持Oracle、MySQL、开源,于是我遇到了KETTLE;

3.开始了解KETTLE,(连接为KETTLE的开源社区网)

4.下载KETTLE(PS:同样都是要学习,所以我选择了目前最新的版本:pdi-ce-6.0.1.0-386,一般新的版本网上的资料可能会比较少,但通常都可以学习参考)

5.开始找学习文档和资料,比较官方的文档我是没有找到(如果谁有请发我一份),网上的博客倒是不少大多数是4版本的,虽然有一些转载的人不对其测试,原创的人写的不够详细当然也有详细的,但总归还是谢谢他们的分享精神让我对其有了大概的了解。(PS:对于那些我就补贴连接了,百度一下,铺天盖地的博客)。

以上基本全是网上的东西,作为KETTLE工具新手的我,大概说说我的理解和学习的过程(有误请谅解)

KETTLE,一个抽取+转换+加载的工具,用JAVA开发,因此运行也需要JAVA的环境。

我把这个工具大体上分为了六块内容:资源库、数据抽取、映射转换、数据写入、调度、增量处理。

资源库:主要是KETTLE存储基本自身文件的地方,如我们连接数据库、自己写的转换等文件。KETTLE自身支持两种方式的存储:数据库资源库和文件资源库,还有一种Pentaho资源库,需要Pentaho的插件。

数据抽取:数据源。

映射转换:个人觉得是最核心的东西,这部分是处理真实业务的关键所在。

数据写入:输出源。

调度:大体上有两种方式,操作系统调度和Pentaho BI Server,网上还有很多的比如WEB调度之类的。

增量处理:主要是四种思路,时间戳方式、快照方式、触发器方式、日志方式。


以上是我个人对于KETTLE的学习的分法,我也是按照这六块内容学习的,文言之处还望包含。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值