数据清洗 8.35~8.36

一、加载用户数据至用户维度表

1.打开kettle工具，创建load_dim_customer转换

 2.配置“表输入”控件，进入“表输入”界面

 

 3.配置“表输入2”控件

 

 3.打开kettle工具，创建fetch_address转换

 

 4.配置“数据库查询”控件

 

 

 5.配置“数据库查询3”控件，双击图中“数据库查询3”控件，进入“数据库查询3”界面。

 

 6.配置“过滤记录”控件，进入过滤记录界面。

 “条件”处设置过滤条件

 在图中“发送true数据给步骤

 7.配置“JavaScript代码”控件

 8.配置字段选择控价，进入“选择/改名值”界面，在“移除”选项卡的“移除的字段：”处添加要移除的字段。

 9.配置“映射”字段

 10.配置“字段选择”控件

 11.配置“值映射”控件

 12.配置“维度查询/更新”控件

 

 13.运行转换load_dim_customer

 14.查看维度表dim_customer中的数据

二 、加载数据商店数据到商店维度表

1.使用Kettle工具创建转换load_dim_store

 2.配置“表输入”控件，双击“表输入”控件，进入“表输入”界面。

 在SQL框中编写代码，用于获取字段store_last_update中的最大值

 

 4.配置“映射”控件，选择添加fetch_address

 5.配置“数据库查询”控件，单击“浏览”按钮，添加数据表staff_id

 单击“浏览”按钮，选择输出的目标表，在“关键字”选项卡添加关键字段store_id，用于指定维度表字段和流字段的比较条，在“字段”选项卡中添加查询/更新字段

 7.运行转换load_dim_store,并且查看维度表dim_store中的数据

 

 如图所示，dim_store表中成功写入数据。