一、加载用户数据至用户维度表
操作介绍:通过Kettle工具加载用户数据至用户维度表dim_customer。
1、打开Kettle工具,创建转换
使用Kettle工具,创建一个转换load_dim_customer,并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线,具体如图所示。
2、配置表输入控件
双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。
预览:
3、配置表输入2控件
双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。
4、打开Kettle工具,新建转换
使用Kettle工具,创建一个转换fetch_address(该转换为转换load_dim_customer的子转换),并添加映射输入规范控件、数据库查询控件、过滤记录控件、JavaScript代码控件、字段选择控件以及Hop跳连接线,如图所示。
5、配置映射输入规范控件
双击“映射输入规范”控件,进入“Mapping input specification”界面,并添加映射的字段“address_id”,该字段为传递的参数(由于转换load_dim_customer中表输入2控件流获取的字段address_id,用于查询用户的地址信息,而后续数据仓库的维度表数据也需要用户的地址信息,因此这里将字段address_id作为传递的参数),添加完毕后单击【确定】按钮,完成“映射输入规范”控件的配置,如图所示。
6、配置数据库查询控件
双击“数据库查询”控件,进入“数据库查询”配置界面,如图所示。
7、配置数据库查询2控件
双击“数据库查询2”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。
8、配置数据库查询3控件
双击“数据库查询3”控件,进入“数据库查询”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。
9、配置过滤记录控件
双击“过滤记录”控件,进入“过滤记录”配置界面,在“条件”处设置过滤的条件,对有第二个地址的用户进行过滤操作;单击左边“<field>”框,弹出字段对话框,选择要过滤的字段address2,如图所示。
10、配置JavaScript代码控件
双击“JavaScript代码”控件,进入“JavaScript代码”配置界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码,如图所示。
11、配置字段选择控件
双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“移除”处添加要移除的字段,如图所示。
12、配置映射控件
双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息,如图所示。
13、配置字段选择控件
双击步骤1中的“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“需要改变元数据的字段”处添加字段active,由于数据表customer中字段active的类型为tinyint,因此需要将字段active的类型改为String,与维度表dim_customer中字段customer_active的类型相对应,如图所示。
14、配置值映射控件
双击步骤1中的“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段active;在“字段值”框中,添加源值和目标值,由于数据表customer中字段active的值为1和0,对应的是Y和N,这里将Y替换成Yes,将N替换成No,如图所示。
15、配置维度查询/更新控件
双击“维度查询/更新”控件,进入“维度查询/更新”界面,如图所示。
16、运行load_dim_customer转换
17、查看数据表dim_customer中的数据
二、加载商店数据至商店维度表
操作介绍:通过Kettle工具加载商店数据至商店维度表dim_store。
1、打开Kettle工具,创建转换
使用Kettle工具,创建一个转换load_dim_store,并添加表输入控件、映射控件、数据库查询控件、维度查询/更新控件以及Hop跳连接线,具体如图所示。
2、配置表输入控件
双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。
3、配置表输入2控件
双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。
4、配置映射控件
双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息,如图所示。
5、配置数据库查询控件
双击“数据库查询”控件,进入“数据库查询”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。
6、配置维度查询/更新控件
双击“维度查询/更新”控件,进入“维度查询/更新”界面,如图所示。
7、运行load_dim_store转换