6.3数据粒度的转换

这篇博客详细介绍了如何在数据仓库中进行数据粒度转换的过程,从业务系统的明细数据到适合分析的聚合数据。步骤包括创建转换、配置各种控件如表输入、字段选择、排序记录等,最终实现数据从城市级别到省份或直辖市的聚合,并通过Kettle工具执行作业验证转换成功,只保留省级区划的数据。
摘要由CSDN通过智能技术生成

业务系统一般存储非常明细的数据,而数据仓库中数据是用来分析的,不需要非常明细的数据。一般情况下,会将业务系统数据按照数据仓库粒度进行聚合,这个过程就被称为数据粒度的转换。例如,将城市转换成省份或者直辖市。

1.创建转换

2.配置表输入控件

 

3.配置字段选择控件

 

4.配置排序记录控件

 

 

5.配置表输入2控件

6.配置排序记录2控件

 

7.配置记录集连接控件

 

8.配置字段选择2控件

9.配置排序记录3控件

 10.配置表输入3控件

11.配置排序记录4控件

 

12.配置记录集连接2控件

13.配置过滤记录控件

 

14.配置字段选择3控件

 

15.配置表输出控件

 

16.配置字段选择4控件 

17.配置表输出2控件

 

18.再次创建一个转换

 

 19.配置表输入控件

20.配置字段选择控件

 

21.配置排序记录控件

 

22.配置表输入2控件

 

23.配置字段选择2控件

 

24.配置排序记录2控件

 

25.配置记录集连接控件

 

 26.配置字段选择3控件

27.配置表输出控件

 

28.打开kettle工具,新建作业

 

29.配置start控件 

30.配置转换控件

 

31.配置转换2控件

 

32.运行作业 

33.查看数据表company_new中的数据

 

只有省级区划,成功! 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值