Kettle入门概述:围绕ETL主要过程,提供一份完整的数仓开发路线图

本文介绍了Kettle作为ETL工具在数据仓库开发中的应用,涵盖数据抽取、转换和加载过程。Kettle支持多种数据源,提供丰富的转换操作,并能进行任务调度和监控。通过转换和作业文件,实现数据处理的完整流程,同时讨论了任务调度的多种方法及监控方案。
摘要由CSDN通过智能技术生成

由于Kettle的众多优点(免费、开源;易部署,多平台支持;可视化、拖拽式操作,组件功能丰富,易上手等),很多企业会选择它来作为ETL开发的工具。

ETL的主要过程,就是完成对数据的抽取(Extract)、转换(Transform)、加载(Load),如果再同时做好任务的流程控制、自动调度和监控,一份完整的数仓开发就实现了。

下面将结合ETL主要过程和数仓开发思路,对Kettle的使用做下概述。

脚本文件和操作界面

在Kettle中只存在两种脚本文件,分别是转换(ktr)和作业(kjb),任何开发工作都是在这两类文件中完成的。从文件的类别名称就基本可以知道,转换文件主要负责对数据进行处理,作业文件主要负责整体任务的有序执行。

以转换文件为例,操作界面如下所示:

数据抽取(Extract)

“数据抽取”操作,主要依靠Kettle中的“输入”组件来完成,支持的数据源类型非常多,有Acess、Excel、CSV、XML、数据库表等,如下图所示。其中“表输入”(下图未展示)指的就是数据库表的输入,支持目前的主流数据库类型。

对于大数据类型的数据输入,可以选择“Big Data”组件里的控件来完成工作。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值