kettle入门:安装和使用

本文介绍了Kettle这一开源ETL工具,包括它的核心概念——转换和作业,以及如何安装JDK和Kettle。详细步骤涵盖了从Kettle下载、数据库驱动的安装到启动Kettle。此外,还讲解了如何在Spoon中创建和配置转换及作业,包括建立数据库连接、数据输入输出以及作业流程设计。
摘要由CSDN通过智能技术生成

ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环,也是工作量较大的一块。Kettle是ETL中其中一个开源工具,基于纯Java开发。

kettle有两种脚本Transformation(转换)和Job(作业)
transformation:定义对数据操作的容器,数据操作就是数据从输入到输出的一个过程,可以理解为比作业粒度更小一级的容器,我们将任务分解成作业,然后需要将作业分解成一个或多个转换,每个转换只完成一部分工作。
job:负责将[转换]组织在一起进而完成某一块工作,通常我们需要把一个大的任务分解成几个逻辑上隔离的作业,当这几个作业都完成了,也就说明这项任务完成了。

Kettle家族目前包括4个产品:Spoon、Pan、CHEF、Kitchen。

Spoon: 允许你通过图形界面来设计ETL转换过程(Transformation)。
Pan: 允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序,没有图形界面。
CHEF: 允许你创建任务(Job)。 任务通过允许每个转换,任务,脚本等等,更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换,任务,脚本等等。任务将会被检查,看看是否正确地运行了。
Kitchen: 允许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。

我们主要讲解spoon。

下载与安装

安装 jdk

官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,下载对应版本,直接安装。(网上操作较多,具体不在此说明)

安装kettle

下载

官网: https://sourceforge.net/projects/pentaho/files/Data%20Integration/
本文操作基于kettle 7.1版本。

安装

下载完成后解压压缩包pdi-ce-7.1.0.0-12.zip,直接生成data-integration文件夹。

下载数据库驱动

首先在 官网https://dev.mysql.co

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值