数据清洗-第八章实例

8.3.5加载用户数据至用户维度表
1.打开Kettle工具，创建转换load_dim_customer

                                                                           图1 

2.配置表输入控件 

（1）双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。

                                                                             图2 

（2）在SQL框中编写用于获取字段customer_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_customer_last_update；单击“预览”按钮，查看临时字段max_dim_customer_last_update是否将默认值设置为“1970-01-01 00:00:00”。

                                                                                    图3 

                                                                                      图4 

3.配置表输入2控件 

（1）双击“表输入2”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。

                                                                                         图5

（2）在SQL框中编写SQL语句，用于获取数据库sakila中数据表customer中的最新数据。

                                                                               图6 

4.使用Kettle工具，创建一个转换fetch_address 

使用Kettle工具，创建一个转换fetch_address（该转换为转换load_dim_customer的子转换），并添加映射输入规范控件、数据库查询控件、过滤记录控件、JavaScript代码控件、字段选择控件。

                                                                                 图7 

5.配置映射输入规范控件 

 

                                                                                  图8 

6.配置数据库查询控件 

（1）单击【新建】按钮，配置数据库连接，配置完