数据清洗（8.3.5-8.3.6）
8.3.5 加载用户数据至用户维度表
1.打开Kettle工具，创建转换
创建一个转换load_dim_customer，并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线，具体如下图所示：
2.配置表输入控件
进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如下图所示：
3.配置表输入2控件
进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如下图所示：
4.打开Kettle工具，新建转换
创建一个转换fetch_address，并添加映射输入规范控件、数据库查询控件、过滤记录控件、JavaScript代码控件、字段选择控件以及Hop跳连接线，具体如下图所示：
5.配置映射输入规范控件
进入“Mapping input specification”界面，并添加映射的字段“address_id”，该字段为传递的参数（由于转换load_dim_customer中表输入2控件流获取的字段address_id，用于查询用户的地址信息，而后续数据仓库的维度表数据也需要用户的地址信息，因此这里将字段address_id作为传递的参数），添加完毕后单击【确定】按钮，完成“映射输入规范”控件的配置，具体如下图所示：
6.配置数据库查询控件
进入“数据库查询”配置界面，具体如下图所示：
7、配置数据库查询2控件
进入“数据库查询”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如下图所示：
8.配置数据库查询3控件
进入“数据库查询”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如下图所示：
9.配置过滤记录控件
双击“过滤记录”控件，进入“过滤记录”配置界面，在“条件”处设置过滤的条件，对有第二个地址的用户进行过滤操作；单击左边“”框，弹出字段对话框，选择要过滤的字段address2，单击“=”框，弹出函数对话框，选择过滤条件，即过滤指定字段中不为空的数据，单击【确定】按钮，完成过滤条件的选择。字段address2的过滤设置，在“发送true数据给步骤：”处的下拉框中选择“JavaScript代码”，将有第二个地址的用户放在JavaScript控件中；在“发送false数据给步骤：”处的下拉框中选择“字段选择”，将没有第二地址的用户过滤掉，具体如下图所示：
10.配置JavaScript代码控件
进入“JavaScript代码”配置界面，勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；在Java Script代码框中编写代码，具体如下图所示：
11.配置字段选择控件
进入“选择/改名值”界面，在“元数据”选项卡的“移除”处添加要移除的字段,具体如下图所示：
12.配置映射控件
进入“映射”界面，单击“转换”选项卡处的【Browser】按钮，选择添加转换fetch_address，用于获取用户的地址信息，具体如下图所示：
13.配置字段选择控件
进入“选择/改名值”界面，在“元数据”选项卡的“需要改变元数据的字段”处添加字段active，由于数据表customer中字段active的类型为tinyint，因此需要将字段active的类型改为String，与维度表dim_customer中字段customer_active的类型相对应，具体如下图所示：
14.配置值映射控件
进入“值映射”界面，在“使用的字段名”处的下拉框选择字段active；在“字段值”框中，添加源值和目标值，由于数据表customer中字段active的值为1和0，对应的是Y和N，这里将Y替换成Yes，将N替换成No，具体如下图所示：
15.配置维度查询/更新控件
进入“维度查询/更新”界面，进入“维度查询/更新”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮,具体如下图所示：
16.运行load_dim_customer转换,具体如下图所示：
17.查看数据表dim_customer中的数据
通过SQLyog工具，查看数据表dim_customer是否已成功插入用户数据，具体如下图所示：
8.3.6 加载商店数据至商店维度表
1.打开Kettle工具，创建转换
创建一个转换load_dim_store，并添加表输入控件、映射控件、数据库查询控件、维度查询/更新控件以及Hop跳连接线，具体如下图所示：
2.配置表输入控件
进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如下图所示：
3.配置表输入2控件
进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如下图所示：
4.配置映射控件
进入“映射”界面，单击“转换”选项卡处的【Browser】按钮，选择添加转换fetch_address，用于获取用户的地址信息，具体如下图所示：
5.配置数据库查询控件
进入“数据库查询”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。单击表名右侧的【浏览】按钮，添加staff数据表，用于查询商店员工的信息；在“查询所需的关键字”框中，添加查询所需的关键字staff_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即员工姓名，具体如下图所示：
6、配置维度查询/更新控件
进入“维度查询/更新”界面，具体如下图所示：
7.运行load_dim_store转换
运行创建的转换load_dim_store，实现加载商店数据至商店维度表dim_store中，具体如下图所示：
8.查看数据表dim_store中的数据
通过SQLyog工具，查看数据表dim_store是否已成功插入商店数据，具体如下图所示：
7282
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
