数据清洗黑马程序员 第八章综合案例——构建DVD租赁商店数据仓库——阅读笔记

8.3  案例实现

8.3.2 加载日期数据至日期维度表

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换load_dim_date,并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线,具体如图1所示。

 图1 创建转换

2.配置生成记录控件

双击“生成记录”控件,进入“生成记录”配置界面,在“限制”处添加生成的日期,默认为10,这里改为3650,即生成10年的日期(10*365);在“字段”框添加字段language(语言)、country_code(国家码)、initial_date(初始化的日期),对生成的日期进行初始化,具体如图2所示:

 图2 配置生成记录控件

3.配置增加序列控件

双击“增加序列”控件,进入“增加序列”配置界面,并在“值的名称”处将valuename改为DaySequence,即增加一列日期字段,后续用于改变“生成记录”控件生成的日期,如图3所示。

 图3 配置增加序列控件

4.配置JavaScript控件

双击“JavaScript”控件,进入“JavaScript”配置界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码(代码见教材),单击【获取变量】按钮,将代码中定义的变量添加至字段框中,如图4所示:

 图4 添加字段

“JavaScript代码”控件的具体配置效果如图5所示,单击【确定】按钮,完成“JavaScript代码”控件的配置。

 图5 配置JavaScript控件

5.配置表输出控件

双击“表输出”控件,进入“表输出”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图6所示。

 图6 配置数据库连接

单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_date;勾选“指定数据库字段”的复选框,用于将维度表字段与JavaScript控件流中的变量字段进行匹配,单击【输入字段映射】按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击【Add】按钮,将一对映射字段添加至“映射”选项框中,若“源字段”选项框的字段和“目标字段”选项框的字段相同,则可以单击【猜一猜】按钮,让Kettle自动实现映射,具体如图7所示。

 图7 设置映射匹配

单击映射匹配对话框的【确定】按钮,“表输出”界面最终显示的效果如图8所示,单击【确定】按钮,完成“表输出”控件的配置。

 图8 配置表输出控件 

6.运行转换load_dim_date

单击转换工作区顶部的按钮,运行创建的转换load_dim_date,实现加载日期数据至日期维度表dim_date中,如图9所示: 

 图9 运行转换load_dim_date

7.查看数据表dim_date中的数据

通过SQLyog工具,查看数据表dim_date是否已成功插入3650条日期数据,查看结果如图10所示(这里只截取了部分数据)。

 图10 查看数据表dim_date中的数据

8.3.3 加载时间数据至时间维度表

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换load_dim_time,并添加生成记录控件、增加序列控件、JavaScript代码控件、记录关联(笛卡尔输出)控件、表输出控件以及Hop跳连接线,具体如图11所示。

 图11 创建转换load_dim_time

2.配置生成记录控件

双击“生成记录”控件,进入“生成记录”配置界面,在“限制”处添加生成的时间,这里添加的是生成24小时数据,起始的时间为0;在“字段”框添加生成小时字段的相关信息,如图12所示:

 图12 配置生成记录控件

3.配置增加序列控件

双击“增加序列”控件,进入“增加序列”配置界面,将“值的名称”处将valuename改为hours24,即增加一列小时字段,由于时间是由时分秒构成,因此我们需要生成时分秒字段的数据,这里生成24小时数据,后续步骤中会生成60分和60秒的数据,如图13所示:

 图13 配置增加序列控件

4.配置JavaScript代码控件

双击“JavaScript代码”控件,进入“JavaScript代码”界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码;单击【获取变量】按钮,将代码中定义的变量添加至字段框。JavaScript代码控件的配置如图14所示。

 图14 配置JavaScript代码控件

5.配置生成记录2控件

双击“生成记录2”控件,进入“生成记录”界面,在“限制”后的文本框添加60表示生成60条数据(60分钟从0分开始至59分结束共60条数据);在“字段”框添加生成字段的名称、字段类型及默认值为0,如图15所示:

 图15 配置生成记录2控件

6.配置增加序列2控件

双击“增加序列2”控件,进入“增加序列2”界面,将“值的名称”处将valuename改为minutes,即增加一列分钟字段,用于记录分钟数,在起始值后的文本框内将默认值1修改为0,表示从0开始生成60条数据(上一步“生成记录2”控件限制了条数),即生成数据为0-59,如图16所示。

 图16 配置增加序列2控件

7.配置生成记录3控件

双击“生成记录3”控件,进入“生成记录”界面,在“限制”后的文本框添加60,表示生成60条数据(即60秒钟从0秒开始至59秒结束共60条数据);在“字段”框添加生成字段的名称、字段类型及默认值为0,如图17所示:

 图17 配置生成记录3控件

8.配置增加序列3控件

双击“增加序列3”控件,进入“增加序列3”界面,将“值的名称”处将valuename改为minutes,即增加一列秒字段,用于记录秒数,在起始值后的文本框内将默认值1修改为0,表示从0开始生成60条数据(上一步骤中“生成记录3”控件限制了条数),即生成数据为0-59,如图18所示。

 图18 配置增加序列3控件

9.配置JavaScript代码2控件

双击“JavaScript代码2”控件,进入“JavaScript代码2”界面,勾选“兼容模式?”处的复选框,使得JavaScript代码2控件的兼容性更强;在Java Script代码框中编写代码;单击【获取变量】按钮,将代码中定义的变量添加至字段框。JavaScript代码2控件的配置,如图19所示:

 图19 配置JavaScript代码2控件

10.配置表输出控件

双击“表输出”控件,进入“表输出”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图20所示:

 图20 配置数据库连接

单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_time;勾选“指定数据库字段”的复选框,用于将维度表dim_time的字段与JavaScript 控件流中的字段进行匹配,单击【输入字段映射】按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击【Add】按钮,将一对映射字段添加至“映射”选项框中,若“源字段”选项框的字段和“目标字段”选项框的字段相同,则可以单击【猜一猜】按钮,让Kettle自动实现映射,如图所示。

 图21 设置映射匹配

单击映射匹配对话框的【确定】按钮,“表输出”界面最终显示的效果如图22所示,单击【确定】按钮,完成“表输出”控件的配置

 图22 配置表输出控件

11.运行load_dim_time转换

单击转换工作区顶部的按钮,运行创建的转换load_dim_date,实现加载时间数据至时间维度表dim_time中,如图23所示。

 

 图23 运行load_dim_time转换

12.查看数据表dim_time中的数据

通过SQLyog工具,查看数据表dim_time是否已成功插入86400条时间数据,查看结果如图24所示(这里只截取了部分数据)。

 图24 查看数据表dim_time中的数据

8.3.4 加载员工数据至员工维度表

1.打开Kettle工具,创建转换

使用Kettle工具,创建一个转换load_dim_staff,并添加表输入控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线,具体如图25所示。

 图25 创建转换load_dim_staff

2.配置表输入控件

双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图26所示:

 图26 配置数据库连接

在SQL框中编写SQL语句,用于获取字段staff_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_staff_last_update;单击“预览”按钮,查看临时字段max_dim_staff_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图27所示。

 图27 配置表输入控件

3.配置表输入2控件

双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图28所示

 图28 配置数据库连接

在SQL框中编写SQL语句,用于获取sakila数据库中staff数据表中的最新数据,如图29所示。 

图29 配置表输入2控件

4.配置字段选择控件

双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“需要改变元数据的字段”处添加字段active,由于数据仓库sakila_dw中字段staff_active的数据类型为char类型,因此,我们需要将数据表staff中字段active的数据类型改为String类型,如图30所示。

 图30 配置字段选择控件

5.配置值映射控件

双击“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段active;在“字段值”框中,添加源值和目标值,这里是将Y替换成Yes,将N替换成No,如图31所示:

图31 配置值映射控件

6.配置维度查询/更新控件

双击“维度查询/更新”控件,进入“维度查询/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_staff;在“关键字”选项卡处添加关键字字段staff_id,用于指定维度表字段和值映射控件流中字段的比较条件,若维度表中的数据有更新,则通过字段staff_id进行更新操作;在“字段”选项卡处添加查询/更新字段,用于更新目标维度表中的字段数据;在“代理关键字段”处的下拉框中选择staff_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Version字段”处的下拉框中选择staff_version_number;在“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择staff_valid_from;在“截止日期字段”处的下拉框中选择staff_valid_through,如图32、图33所示。

图32 添加关键字

 图33 配置维度查询/更新控件

7.运行转换load_dim_staff

单击转换工作区顶部的按钮,运行创建的转换load_dim_staff,实现加载员工数据至员工维度表dim_staff中,如图34所示。

 图34 运行转换load_dim_staff

8.查看数据表dim_staff中的数据

通过SQLyog工具,查看数据表dim_staff是否已成功插入员工数据,查看结果如图35所示。

 图35 查看数据表dim_staff中的数据

  • 0
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值