第六章 数据转换

案例一

通过Kettle工具将A公司和B公司的手机日销售数据合并到一个数据源（数据表company）中，也就是对文件company_a.csv和数据表company_b中的数据进行合并操作，并输出到数据表company中

转换示意图

csv文件输入组件配置

表输入组件配置

字段选择组件配置

排序合并组件配置

增加序列组件配置

字段选择2组件配置

表输出组件配置

运行转换，查看结果

案例二

通过Kettle工具将对数据表company进行不一致数据的转换操作，即通过与供货商提供的标准价格表进行比较，得出不一致数据，从而进行修改，最终输出到数据表company中

转换示意图

表输入组件配置

 

表输入2组件配置

 

字段选择组件配置

 

 

表输入3组件配置

记录集连接组件配置

 

字段选择2组件配置

 

插入/更新组件配置

 

运行转换，查看结果

 

 

 

案例三

通过Kettle工具将对数据表company进行数据粒度的转换操作，即将数据表company中字段为salesArea的数据都统一成省级份，并存储到新数据表company_new中

转换1示意图

转换2示意图

 

作业示意图

 

转换1表输入组件配置

 

 转换1字段选择组件配置

转换1排序记录组件配置

 

 转换1表输入2组件配置

 转换1排序记录2组件配置

转换1记录集连接组件配置

 

转换1字段选择2组件配置

 

转换1排序记录3组件配置

 

转换1表输入3组件配置

 

转换1排序记录4组件配置

 

转换1记录集连接2组件配置

 

转换1过滤记录组件配置

 

转换1字段选择3组件配置

 

转换1表输出组件配置

转换1字段选择4组件配置

 

转换1表输出2组件配置

 

 转换2

表输入组件

字段选择组件

 

排序记录组件配置

表输入2组件配置 

 

 字段选择2组件配置

排序记录2组件配置

 

记录集连接组件配置

 

字段选择3组件配置

 

表输出组件配置

 

运行作业，查看结果

 

 

 案例四

通过Kettle工具对数据表company_new中的数据进行商务规则的计算，即对数据表company_new中的数据进行相关处理和计算，从而得出手机在各省份的日销售额，并存储于数据表regional_sales中

转换示意图

表输入组件配置

 

字段选择组件配置

 

 

 计算器组件配置

排序记录组件配置

 

分组组件配置

 

字段选择2组件配置

 

唯一行（哈希值）组件配置

 

表输出组件配置

 

运行转换，查看结果