ETL第六章案例

本文通过四个案例详细介绍了ETL(Extract, Transform, Load)过程在数据处理中的应用,包括多数据源合并、不一致数据的转换、数据统一以及作业流程的构建。案例覆盖了数据清洗、排序、连接、更新和输出等关键步骤,展示了如何在实际操作中确保数据一致性与准确性。
摘要由CSDN通过智能技术生成

案例一:多数据源合并

1.创建如下图所示的转换

 2.配置CSV输入控件

预览数据

3.配置字段选择控件

4.配置表输入控件

5.配置排序合并控件

6.配置增加序列控件

7.配置字段选择2控件

8.配置表输出控件

9.运行转换

案例二:不一致数据的转换(统一company表中同一品牌同一型号手机的售价)

1.创建如图所示的转换

 2.配置表输入控件

3.配置表输入2控件

4.配置字段选择控件

 

5.配置表输入3控件

6.配置记录集连接控件

7.配置字段选择2控件

8.配置插入更新控件

9.运行转换

 数据已统一

案例三:将数据表company中字段为salesArea的数据都统一成省级份,并存储到新数据表company_new中。

1.创建如图所示的转换

2.配置表输入控件

 3.配置字段选择控件

4.配置排序记录控件

5.配置表输入2控件

6.配置排序记录2控件

7.配置记录集连接控件

8.配置字段选择2控件

9.配置排序记录3控件

10.配置表输入3控件

11.配置排序记录4控件

12.配置记录集连接2控件

13.配置过滤记录控件

14.配置字段选择3控件

15.配置字段选择4控件

16.配置表输出控件

17.配置表输出控件

18.运行转换,查看company_new中的数据

 案例四:

1.创建如图所示的转换

 2.配置表输入控件

3.配置字段选择控件

4.配置排序记录控件

5.配置记录集连接控件

6.配置字段选择控件

7.配置表输出控件

8.创建如图所示的作业

 9.配置start控件

10.配置转换控件,将转换6-3(案例三)添加至作业中

11.配置转换2控件,将刚刚创建的转换添加到作业中。

12.运行作业,查看company_new中的数据

 案例五:对数据表company_new中的数据进行相关处理和计算,从而得出手机在各省份的日销售额,并存储于数据表regional_sales中。

1.创建如下图所示的转换

 2.配置表输入控件

3.配置唯一行控件

4.配置字段选择控件

5.配置计算器控件

6.配置排序记录控件

7.配置分组控件

8.配置字段选择2控件

9.配置唯一行(哈希值)控件

10.配置表输出控件

11.运行转换,查看表格regional_sales

完!

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值