Kettle核心概念

出现小bug的时候,可以尝试以下操作:
工具–数据库–清除缓存

可视化编程
Kettle可以归类为可视化编程语言(Visula Programming Languages,VPL),因为Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。

Kettle里面的图就是转换和作业。

可视化编程一直是Kettle的核心概念,可以让你快速构建复杂的ETL作业和降低维护工作量。隐藏很多技术细节,使得IT领域更接近于商务领域。

转换(transformation)是ETL解决方案中最主要的部分,处理抽取、转换、记载各种对数据行的操作。

转换包含一个或多个步骤(step),如读取文件、过滤数据行、数据清洗、或将数据加载到数据库。

转换里的步骤通过hop来连接,hop定义一个单向通道,允许数据从一个步骤向另一个步骤流动。(hop:节点连接)

在Kettle里,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。有时候又把数据流称为记录流。

步骤(step),也就是控件,作为转换里的基本组成部分。
步骤的关键属性:

  • 步骤需要有一个名字,这个名字在转换范围内唯一。
  • 每个步骤都会读、写数据行(唯一例外是“生成记录”步骤,该步骤只写数据)
  • 步骤将数据写到与之相连的一个或多个输出hop,再传送到hop的另一端的步骤。
  • 大多数步骤都可以有多个输出hop。一个步骤的数据发送可以被设置为分发和复制,分发是目标步骤轮流接收记录,复制是所有的记录被同时发送到所有的目标步骤。(分
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值