案例介绍
我们基于数据库sakila构建一个星型模型的DVD租赁商店数据仓库,并命名为sakila_dw。数据仓库sakila_dw中的事实表fact_rental是根据数据库sakila中的数据表rental创建的;维度表是根据数据表sakila中数据表的分类创建的,即从人员、时间、地点以及事件四个角度进行创建数据仓库sakila_dw的维度表,具体如下:
·从人员角度角度创建维度表dim_customer和维度表dim_staff,分别表示租赁业务中的客户和员工;
·从时间角度创建维度表dim_date和维度表dim_time,用于记录所有DVD的租赁时间和归还时间;
·从地点角度创建维度表dim_store,用于记录DVD光盘是从哪个商店租赁的;
·从事件角度创建维度表dim_actor和维度表dim_film,其中维度表dim_actor用于记录演员的基本信息,维度表dim_film用于记录电影的基本信息。由于电影是租赁和归还的实际对象,因此维度表dim_film应与事实表fact_rental关联。一部电影是由多位演员出演,所以会有桥接表dim_film_actor_bridge,该表将电影与演员相关联。
数据仓库sakila_dw中的每个维度表(dim_date和dim_time除外)都对应着数据库sakila中某个数据表,例如维度表dim_store对应着数据表store、维度表dim_actor对应着数据表actor。
数据清洗这本书为读者提供了创建sakila_dw数据仓库的SQL脚本文件,其脚本文件的名称为sakila_dw_schema.sql,读者只需要使用MySQL图形化管理软件SQLyog运行sakila_dw_schema.sql脚本文件创建sakila_dw数据仓库即可。
案例实现
通过Kettle工具加载日期数据至dim_date日期维度表。
1.打开Kettle工具,创建转换
使用Kettle工具,创建一个转换load_dim_date,并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线,具体如图所示。
2.配置生成记录控件
双击“生成记录”控件,进入“生成记录”配置界面。在“限制”处添加生成的日期,默认为10,这里改为3650,即生成10年的日期(10*365);在“字段”框添加字段language(语言)、country_code(国家码)、initial_date(初始化的日期),对生成的日期进行初始化,具体如图所示。
3.配置增加序列控件
双击“增加序列”控件,进入“增加序列”配置界面,并在“值的名称”处将valuename改为DaySequence,即增加一列日期字段,后续用于改变“生成记录”控件生成的日期,如图所示。
4.配置JavaScript控件
双击“JavaScript”控件,进入“JavaScript”配置界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码(代码见教材),单击【获取变量】按钮,将代码中定义的变量添加至字段框中,如图所示,如图所示。
“JavaScript代码”控件的具体配置效果如图所示,单击【确定】按钮,完成“JavaScript代码”控件的配置。
5.配置表输出控件
双击“表输出”控件,进入“表输出”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。
单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_date;勾选“指定数据库字段”的复选框,用于将维度表字段与JavaScript控件流中的变量字段进行匹配如图所示。
单击【输入字段映射】按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击【Add】按钮,将一对映射字段添加至“映射”选项框中,若“源字段”选项框的字段和“目标字段”选项框的字段相同,则可以单击【猜一猜】按钮,让Kettle自动实现映射,具体如图所示。
单击映射匹配对话框的【确定】按钮,“表输出”界面最终显示的效果如图所示,单击【确定】按钮,完成“表输出”控件的配置。
6.运行转换load_dim_date
单击转换工作区顶部的按钮,运行创建的转换load_dim_date,实现加载日期数据至日期维度表dim_date中。
7.查看数据表dim_date中的数据
通过SQLyog工具,查看数据表dim_date是否已成功插入3650条日期数据,查看结果如图所示(这里只截取了部分数据)。
通过Kettle工具加载时间数据至日期维度表dim_time。
1.打开Kettle工具,创建转换
使用Kettle工具,创建一个转换load_dim_time,并添加生成记录控件、增加序列控件、JavaScript代码控件、记录关联(笛卡尔输出)控件、表输出控件以及Hop跳连接线,具体如图所示。
2.配置生成记录控件
双击“生成记录”控件,进入“生成记录”配置界面,在“限制”处添加生成的时间,这里添加的是生成24小时数据,起始的时间为0;在“字段”框添加生成小时字段的相关信息,如图所示。
3.配置增加序列控件
双击“增加序列”控件,进入“增加序列”配置界面,将“值的名称”处将valuename改为hours24,即增加一列小时字段,由于时间是由时分秒构成,因此我们需要生成时分秒字段的数据,这里生成24小时数据,后续步骤中会生成60分和60秒的数据,如图所示。
4. 配置JavaScript代码控件
双击“JavaScript代码”控件,进入“JavaScript代码”界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码;单击【获取变量】按钮,将代码中定义的变量添加至字段框。JavaScript代码控件的配置如图所示。
5.配置生成记录2控件
双击“生成记录2”控件,进入“生成记录”界面,在“限制”后的文本框添加60表示生成60条数据(60分钟从0分开始至59分结束共60条数据);在“字段”框添加生成字段的名称、字段类型及默认值为0,如图所示。
6. 配置增加序列2控件
双击“增加序列2”控件,进入“增加序列2”界面,将“值的名称”处将valuename改为minutes,即增加一列分钟字段,用于记录分钟数,在起始值后的文本框内将默认值1修改为0,表示从0开始生成60条数据(上一步“生成记录2”控件限制了条数),即生成数据为0-59,如图所示。
7.配置生成记录3控件
双击“生成记录3”控件,进入“生成记录”界面,在“限制”后的文本框添加60,表示生成60条数据(即60秒钟从0秒开始至59秒结束共60条数据);在“字段”框添加生成字段的名称、字段类型及默认值为0,如图所示。
8.配置增加序列3控件
双击“增加序列3”控件,进入“增加序列3”界面,将“值的名称”处将valuename改为minutes,即增加一列秒字段,用于记录秒数,在起始值后的文本框内将默认值1修改为0,表示从0开始生成60条数据(上一步骤中“生成记录3”控件限制了条数),即生成数据为0-59,如图所示。
9.配置JavaScript代码2控件
双击“JavaScript代码2”控件,进入“JavaScript代码2”界面,勾选“兼容模式?”处的复选框,使得JavaScript代码2控件的兼容性更强;在Java Script代码框中编写代码;单击【获取变量】按钮,将代码中定义的变量添加至字段框。JavaScript代码2控件的配置,如图所示。
10.配置表输出控件
双击“表输出”控件,进入“表输出”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。
单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_time;勾选“指定数据库字段”的复选框,用于将维度表dim_time的字段与JavaScript 控件流中的字段进行匹配,如图所示。
单击【输入字段映射】按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击【Add】按钮,将一对映射字段添加至“映射”选项框中,若“源字段”选项框的字段和“目标字段”选项框的字段相同,则可以单击【猜一猜】按钮,让Kettle自动实现映射,如图所示。
单击映射匹配对话框的【确定】按钮,“表输出”界面最终显示的效果如图所示,单击【确定】按钮,完成“表输出”控件的配置。
11.运行load_dim_time转换
单击转换工作区顶部的按钮,运行创建的转换load_dim_date,实现加载时间数据至时间维度表dim_time中,如图所示。
12.查看数据表dim_time中的数据
通过SQLyog工具,查看数据表dim_time是否已成功插入86400条时间数据,查看结果如图所示(这里只截取了部分数据)。
通过Kettle工具加载员工数据至员工维度表dim_staff。
1.打开Kettle工具,创建转换
使用Kettle工具,创建一个转换load_dim_staff,并添加表输入控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线,具体如图所示。