数据清洗8.3.5-8.3.6实例

一.加载用户数据至用户维度表

1.打开kettle工具，创建转换

2.配置“表输入”控件

配置数据库连接，连接完成后在SQL语句编写框中编写SQL语句

单击“预览”按钮查看

 3.配置“表输入2”控件

配置数据库连接，连接完成后在SQL语句编写框中编写如下SQL语句，用于获取数据库sakila中数据表customer中的最新数据

 

编写完成后在“从步骤插入数据”下拉列表中选择“表输入”，然后单击“确定”按钮完成配置

 4.打开kettle工具，创建fetch_address转换

5.配置“映射输入规范”控件 

双击该控件，进入Mapping input specification界面，添加映射的字段address_id，该字段为传递的参数（由于转换load_dim_customer中“表输入2”控件流获取的字段address_id用于查询用户的地址信息，而后续数据仓库的维度表数据也需要用户的地址信息，因此这里将字段address_id作为传递的参数），添加完毕后单击“确定”按钮，完成“映射输入规范”控件的配置

 6.配置“数据库查询”控件

双击进入该控件首先配置数据库连接，连接完成后单击表名右侧的“浏览”按钮，添加数据表address；在“查询所需的关键字”框中添加查询所需的关键字字段address_id，由于该字段是唯一的，因此可作为数据表address中数据和“映射输入规范”控件流中数据的比较条件；在“查询表返回的值”框中添加查询表返回的值，如下图所示

 

7.配置“数据库查询2”控件

双击进入该控件首先配置数据库连接，单击表名后的“浏览”按钮，添加数据表city；在“查询所需的关键字”框中添加查询所需的关键字字段city_id，作为数据表city中数据与“数据库查询2”控件流中数据比较的条件；在“查询表返回的值”框中添加查询表返回的值，如下图所示

 8.配置“数据库查询3”控件

 9.配置“过滤记录”控件

在“条件”处设置过滤的条件，对有第二个地址的用户进行过滤操作；单击左边的“field”框，弹出“字段”对话框，选择要过滤的字段address2；再单击“=”框，弹出“函数：”对话框，选择过滤条件（这里选择的是IS NOT NULL），即过滤指定字段中不为空的数据；在“发送true数据给步骤：”后的下拉列表中选择“JavaScript代码”，将有第二个地址的用户放在JavaScript控件中，用于后续的操作；在“发送false数据给步骤：”后的下拉列表中选择“字段选择”，将没有第二个地址的用户进行字段选择处理

10.配置“JavaScript代码”控件

 

 11.配置“字段选择”控件

双击该控件，进入“选择/改名值”界面，在“移除”选项卡的“移除的字段：”处添加要移除的字段

 12.配置“映射”控件

双击该控件进入后，单击“转换”处的Browser按钮，选择添加转换fetch_address，用于获取用户的地址信息

 13.配置“字段选择”控件

在该控件中选择“元数据”选项卡的“需要改变元数据的字段”处添加字段active，由于数据表customer中字段active的类型为tinyint，因此需要将字段active的类型改为String，与维度表dim_customer中字段customer_active的类型对应

14.配置“值映射”控件

进入该控件后，在“使用的字段名：”后的下拉列表中选择字段active；在“字段值”框中添加源值和目标值，由于数据表customer中字段active的值为1和0，对应的是Y和N，这里将Y替换成Yes，将N替换成No 

15.配置“维度查询/更新”控件

先配置数据库连接，配置完成后单击目标表右侧的“浏览”按钮，选择输出的目标表，即维度表dim_customer；在“关键字”选项卡处添加关键字段customer_id，用于指定维度表字段和流字段的比较条件；在“字段”选项卡处添加查询/更新字段

在“代理关键字段”后的下拉列表中选择customer_key为代理关键字段，并指定“创建代理键”为使用自增字段；在“Version字段”后的下拉列表中选择customer_version_number；在“Stream日期字段”后的下拉列表中选择last_update； 

16.运行转换

二.加载商店数据至商店维度表 

1.打开kettle工具，创建转换

2.配置“表输入”控件

配置数据库连接，连接完成后在SQL语句编写框中编写SQL语句 

编写完成后可以单击“预览”按钮查看

3.配置“表输入2”控件 

配置数据库连接，连接完成后在SQL语句编写框中编写如下SQL语句，用于获取数据库sakila中数据表store中的最新数据

编写完成后在“从步骤插入数据”下拉列表中选择“表输入”，然后单击“确定”按钮完成配置

4.配置“映射”控件

双击该控件进入后，单击“转换”处的Browser按钮，选择添加转换fetch_address，用于获取用户的地址信息

 

5.配置“数据库查询”控件

双击进入该控件首先配置数据库连接，单击表名后的“浏览”按钮，添加数据表staff；在“查询所需的关键字”框中添加查询所需的关键字字段staff_id，作为数据表city中数据与“数据库查询2”控件流中数据比较的条件；在“查询表返回的值”框中添加查询表返回的值，即员工姓氏和名字

 6.配置“维度查询/更新”控件

在“字段”选项卡处添加查询/更新字段,用于指定维度表字段store_id和流字段store_id数据一致需要更新的字段；在“代理关键字段”后的下拉列表中选择store_key为代理关键字段

7.运行转换