Kettle(二):转换和作业基本概念和实例

一、转换和作业定义

转换(Transformation) 和 作业(Job)是Spoon设计器的核心两个内容,这两块内容构建了整个Kettle工作流程的基础。

1. 转换(Transformation):主要是针对数据的各种处理,一个转换里可以包 含多个步骤(Step)。

2. 作业(Job):相较于转换,是更加高级的操作。一个作业里包括多个作业项(Job Entry),一个作业项代表了一项工作,而转换是一种作业项,即作业里面可以包括多个转换。

二、简单实例

1.生成随机数

(1)新建转换,并且保存为demo1

(2)拖入“生成随机数”对象

(3)设置生成随机数的字段和类型

(4)拖入“文本文件输出”对象

(5)连接两个对象:按住“shift”,使用鼠标左键连接两个对象

(6)双击“文本文件输出”对象,设置输出“文件名称”

(7)设置随机数条数

选择10,即产生10条随机数

(8)预览结果

结果:

 

2.转换(字段选择)

(1)获取输入所有字段

(3)删除tmp3字段

(4)点击运行整个转换

结果

tmp1;tmp2
14997938;-1517993960
-1736221990;-1406677670
-860350842;-1058635217
1789330015;-567467685
-1424594573;-1445076382
-1958817668;-642311912
249411656;-1922281576
-1390362145;1736561661
692375036;1714611011
288716701;-800066384

3.增加常量操作

(1)整体转换图

(2)拖入“增加常量”对象,设置常量constant=1

(3)双击“文本文件输出”,然后获得字段

(4)预览输出结果

结果

4.过滤步骤实例

(1)整个流程

(2)拖入“过滤记录”对象

(3)设置过滤条件:如果字段tmp1值大于0的才被输出到文本文件

(4)预览结果tmp1都是大于0的

5.笛卡尔乘积

(1)整体流程图

(2)双击“自定义常量数据”步骤,设置字段和数据

-》元数据:字段设置

-》数据

(3)双击“自定义常量数据2”步骤,设置字段和数据

-》元数据

-》数据

(4)连接笛卡尔积,预览显示结果总共有2*2条数据

设置预览条件和步骤

结果

三、总结

1.这波操作很简单,只是总结了一些基本的操作,从而可以加深对kettle操作的理解

 

 

 

 

  • 8
    点赞
  • 41
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kettle作业(Job)是一种串行的调度工具,用于控制整个工作流的执行。下面是Kettle作业设计的步骤: 1. 打开Spoon客户端,创建一个新的作业(Job)。 2. 在左侧的“任务”栏中选择需要执行的转换(Transformation)或其他作业(Job)。 3. 将所选任务拖动到作业设计区域中。 4. 右键单击任务,选择“编辑”以配置任务的详细信息,例如输入输出文件路径、数据库连接等。 5. 在任务之间添加连接,以定义它们之间的依赖关系和执行顺序。 6. 配置作业的调度选项,例如定时执行、循环执行等。 7. 保存作业并运行。 下面是一个简单的Kettle作业设计示例,该作业包含两个转换任务,第一个任务将数据从CSV文件中读取并插入到MySQL数据库中,第个任务将MySQL数据库中的数据导出到CSV文件中: ```kettle <?xml version="1.0" encoding="UTF-8"?> <job> <name>CSV to MySQL to CSV</name> <description>Import data from CSV file to MySQL database and export data from MySQL database to CSV file.</description> <entry> <name>CSV to MySQL</name> <description>Import data from CSV file to MySQL database.</description> <type>TRANS</type> <filename>/path/to/csv_to_mysql.ktr</filename> <arguments> <argument>-param:input_file=/path/to/input.csv</argument> <argument>-param:db_host=localhost</argument> <argument>-param:db_port=3306</argument> <argument>-param:db_name=mydb</argument> <argument>-param:db_user=root</argument> <argument>-param:db_pass=123456</argument> </arguments> <parallel>N</parallel> <draw>Y</draw> <hops> <hop> <from>CSV to MySQL</from> <to>MySQL to CSV</to> <enabled>Y</enabled> </hop> </hops> </entry> <entry> <name>MySQL to CSV</name> <description>Export data from MySQL database to CSV file.</description> <type>TRANS</type> <filename>/path/to/mysql_to_csv.ktr</filename> <arguments> <argument>-param:output_file=/path/to/output.csv</argument> <argument>-param:db_host=localhost</argument> <argument>-param:db_port=3306</argument> <argument>-param:db_name=mydb</argument> <argument>-param:db_user=root</argument> <argument>-param:db_pass=123456</argument> </arguments> <parallel>N</parallel> <draw>N</draw> </entry> </job> ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值