Kettle转换作业50个案例代码

                         Kettle转换作业应用脚本

本文是Kettle转换作业微案例相关的脚本（代码）及注释的说明。本项目旨在技术交流与学习，由于本人能力有限，代码中难免有些错误，欢迎留言、私信反馈给我，希望对你有所帮助。

Kettle 50个实用例子

1.1 代码链接地址

https://gitcode.net/shenliang1985/ETL-Kettle

CSDN代码托管平台-Kettle 50个案例https://gitcode.net/shenliang1985/ETL-Kettle

Github代码托管平台-Kettle 50个案例

#部分案例，Step by Step文字版链接见下#

      Kettle使用_1转换之错误处理

      Kettle使用_5 结合js的数据处理与SetVariable设置动态表输入 

      Kettle使用_22 维度更新 Type2 拉链表 

      Kettle使用_25 改变文件编码压缩与邮件 

      Kettle使用_29 转换里使用参数

1.2 项目简介

内容简介：该案例代码是围绕Kettle常见组件（覆盖95%）的实用案例，共50个ktr、kjb。
兼容版本:Kettle8.2、Kettle9.0。
适应人群：想快速熟悉Kettle或者ETL过程的数据分析人员、数据库工程师以及对数据挖掘感兴趣的人士。
视频介绍：沈亮 - 知乎
文章介绍：https://shenliang.blog.csdn.net/ 的专栏 ETL-Kettle
目录详解:
1 KettleTrans 是Kettle转换和作业的脚本
2 kettlexp.sql 是数据库kettlexp的SQL脚本
3 KettleInput 文件夹包含当前案例的所有数据输入(txt、CSV、gz、xls等)
4 KettleJobFile 文件夹存放Job依赖的数据源
5 KettleOutput、KettleOutput2、Output、Kettletmp 文件夹是转换或者作业对应的输出

Enjoy it,Feel free to let me know if you have any question!

1.3 目录结构

1.4 脚本详情

10_Param-Argu_参数变量.kjb
10_Param-Argu_参数变量.ktr
11_存储过程.ktr
12_生成时间维度数据.ktr
12_维度更新缓慢变化维.ktr
13_HTTP请求GZ结合XML解析.ktr
13_JobMain.ktr.kjb
13_压缩格式解析_拆分字段.ktr
13_字段选择值替换数据分档.ktr
13_并行读写.ktr
13_数据校验.ktr
13_文件操作转换与作业.ktr
13_文件操作转换调作业.kjb
13_文件编码调用作业转换.ktr
13_根据数据标志增删插数据.ktr
13_正则表达式_静态关联.ktr
13_步骤分支.ktr
13_添加字段序号_值映射_字段合并_字段选择.ktr
13_通过计算组件交换字段值_字段拆分.ktr
14_Delay wait_延迟和等待.ktr
14_JavaScript字段处理.ktr
14_Swith_Case 分支.ktr
14_data Sync_插入更新.ktr
14_data Sync_整合数据.ktr
1_SFTP数据上传与消息框.kjb
1_设置表里与SSH.ktr
2_输入_常见数据源.ktr
2_输入_数据源-Excel.ktr
2_输入_文件.ktr
2_输出_常见输出配置.ktr
3_转换_去重与常量设置.ktr
3_转换_字符串操作数值映射.ktr
3_转换_序列与字段选择.ktr
3_转换_行列拆分计算器.ktr
3_转换_行列转换.ktr
4_转换_应用_处理文件邮件.ktr
4_转换_应用_设置NULL与延迟阻塞.ktr
5_转换_查询_WEB客户端请求.ktr
5_转换_查询_动态SQL与模糊匹配.ktr
5_转换_查询_流查询与跨库连接.ktr
5_转换_查询_表输入参数与JSON数据.ktr
7_数据同步_合并数据.ktr
7_转换_记录集连接.ktr
8_分析函数随机数笛卡尔积.ktr
8_树形深度生成.ktr
8_统计组件汇总.ktr
8_计算百分数中位数分组函数.ktr
9_作业数据脚本.kjb
9_作业文件管理汇总.kjb
9_作业转换字段值.ktr

1.5 部分案例

转换里使用参数

作业里使用参数

WEB请求结合JSON

根据数据标志增删插数据

 分析函数与笛卡尔积

并行复制