【ETL实战】Kettle多任务嵌套子任务和转换

嵌套任务排版

 先分析整个任务流程

mainJob->读取数据集合->循环执行sonJob

转换 - 变量传递方法

读取数据(input)-> 指定参数值(select values)-> 复制到结果记录(copy rows to result)

转换 - 读传递的变量方法

获取结果记录(get rows from result) -> 设置变量名映射 (set variables)

转换操作记录结果

 输入,从表中读取数据

组件在input(输入)里面

选择指定值

组件在Transform(转换)里面

复制记录到结果

组件在Job(作业)里面

打印日志

组件在Utility(应用)里面

传递结果记录数据

1,保存转换记录到结果记

从输入读取后,经过转换(业务需要)后,复制记录到结果记录(copy rows to result)

2,读取上级结果参数

从上级转换的结果记录获取数据

转换任务中读取上一步的变量

多次执行任务

 子任务读取转换结果后,执行每行

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kettle 8.2 ETL(Extract, Transform, Load)项目实战教程是帮助用户学习和应用kettle 8.2版本进行实际数据处理和转换的教程。kettle是一款强大的开源ETL工具,可以用于数据提取、转换和加载。 在这个教程中,您将学习如何安装kettle 8.2版本,并且熟悉kettle的主要功能和界面。接下来,您将学习如何创建一个ETL项目,包括数据源的连接和目标的设置。 在数据提取方面,您将学习如何从各种数据源(如关系型数据库、文本文件等)中提取数据。kettle 8.2版本提供了多种数据提取的方式,包括使用SQL查询、使用文件输入和输出等。 然后,您将学习如何对提取的数据进行转换kettle 8.2版本提供了丰富的转换组件,如过滤、排序、连接、聚合等,可以帮助您对数据进行各种转换操作。 最后,在数据加载方面,您将学习如何将转换后的数据加载到目标数据源中。kettle 8.2版本支持将数据加载到各种目标,如关系型数据库、数据仓库、Hadoop等。 在整个教程中,您还将学习如何使用kettle 8.2版本的调度功能,以便自动执行ETL任务。您将学习如何设置调度器、定时任务以及监控和管理ETL任务。 总之,kettle 8.2 ETL项目实战教程将帮助您掌握kettle 8.2版本的基本功能和应用,使您能够在实际项目中使用kettle进行数据处理和转换。无论您是初学者还是有经验的开发人员,这个教程都将为您提供实用的知识和技巧。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值