构建DVD租赁商店数据仓库

sakila样本数据库是MySQL官方提供的一个模拟DVD租赁商店管理的数据库。本文将对数据库sakila中的数据进行清洗操作，从而构建一个DVD租赁商店数据仓库系统，即实现定期从源数据库sakila中抽取增量数据，转换成符合DVD租赁业务的数据，最后加载到目标数据仓库中。

一、案例概述

1.1案例背景介绍

在日益激烈的商业竞争中，在线DVD租赁商店的决策者都迫切地需要更加准确的战略决策信息。每个在线DVD租赁商店的数据都存储在数据库中，因此该数据库中拥有海量的数据，并不缺乏足够的信息，但是这些数据并不是战略决策需要的信息。虽然这些海量数据对于在线DVD租赁商店的运作是非常有用的，但是对于商业的战略决策和目标制定的作用是微乎其微的。

对于在线DVD租赁商店的决策者来说，他们需要从多个不同的商业角度观察数据，例如时间、电影、演员、用户等角度观察数据，并进行相关的分析得出决策，但是数据库中的数据不适合从多个角度进行分析，无法得出战略决策。然而，数据仓库支持复杂的分析操作，侧重于决策支持，并且还提供直观易懂的查询结果，因此我们需要基于数据库sakila创建一个DVD租赁商店数据仓库，并将sakila数据库中的数据加载到数据仓库中，便于在线DVD租赁商店的决策者对数据进行分析得出商业决策。

2.2数据仓库的架构模型

数据仓库sakila_dw的架构模型是一个星型模型，其中dim_film表、dim_customer表、dim_actor表、dim_store表、dim_staff表、dim_date表以及dim_time表均为维度表；fact_rental表为事实表。

二、数据准备

2.1数据库sakila的下载和安装

我们可以从MySQL的官网下载数据库sakila的建库脚本，

下载的是名称为sakila-db.zip的压缩包文件，该压缩包文件中包含三个文件，分别是文件sakila.mwb、文件sakila-data.sql和文件sakila-schema.sql。其中，文件sakila.mwb是一个MySQL Workbench数据模型，用于查看数据库结构；文件sakila-data.sql是用于创建数据库sakila的数据；文件sakila-schema.sql是用于创建数据库sakila的数据结构。

数据库sakila下载完成后，直接解压压缩包，然后使用MySQL图形化管理软件SQLyog先运行脚本文件sakila-schema.sql创建数据库sakila和数据表，再运行脚本文件sakila-data.sql向数据库sakila中的数据表加载数据，最后刷新数据库并查看数据库sakila中的数据表及数据表中的数据，若数据表中均含有数据则说明安装数据库sakila成功，否则说明安装不成功，需要重新解压安装。
需要注意的是，安装数据库sakila之前需要下载并安装MySQL关系型数据库，并且版本不可以低于5.0。

2.2数据库sakila简介

数据库sakila中一共含有十六张数据表，分别是actor（演员）表、address（地址）表、category（类别）表、city（城市）表、country（国家）表、customer（顾客）表、film（电影）表、film_actor（演员所属电影）表、film_category（电影所属的类别）表、film_text（电影描述）表、inventory（库存）表、language（语言）表、payment（付款）表、rental（租赁）表、staff（工作人员）表以及store（商店）表。

三、案例实现

3.1构建DVD租赁商店数据仓库

我们基于数据库sakila构建一个星型模型的DVD租赁商店数据仓库，并命名为sakila_dw。数据仓库sakila_dw中的事实表fact_rental是根据数据库sakila中的数据表rental创建的；维度表是根据数据表sakila中数据表的分类创建的，即从人员、时间、地点以及事件四个角度进行创建数据仓库sakila_dw的维度表，具体如下：
· 从人员角度角度创建维度表dim_customer和维度表dim_staff，分别表示租赁业务中的客户和员工；
· 从时间角度创建维度表dim_date和维度表dim_time，用于记录所有DVD的租赁时间和归还时间；
· 从地点角度创建维度表dim_store，用于记录DVD光盘是从哪个商店租赁的；
· 从事件角度创建维度表dim_actor和维度表dim_film，其中维度表dim_actor用于记录演员的基本信息，维度表dim_film用于记录电影的基本信息。由于电影是租赁和归还的实际对象，因此维度表dim_film应与事实表fact_rental关联。一部电影是由多位演员出演，所以会有桥接表dim_film_actor_bridge，该表将电影与演员相关联。

数据仓库sakila_dw中的每个维度表（dim_date和dim_time除外）都对应着数据库sakila中某个数据表，例如维度表dim_store对应着数据表store、维度表dim_actor对应着数据表actor。
本书为读者提供了创建sakila_dw数据仓库的SQL脚本文件，其脚本文件的名称为sakila_dw_schema.sql，读者只需要使用MySQL图形化管理软件SQLyog运行sakila_dw_schema.sql脚本文件创建sakila_dw数据仓库即可。

3.2加载日期数据至日期维度表

A 通过Kettle工具加载日期数据至dim_date日期维度表。

1.打开Kettle工具，创建转换load_dim_date

2.配置生成记录控件

在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language（语言）、country_code（国家码）、initial_date（初始化的日期），对生成的日期进行初始化。

预览数据

3.配置增加序列控件

双击“增加序列”控件，进入“增加序列”配置界面，并在“值的名称”处将valuename改为DaySequence，即增加一列日期字段，后续用于改变“生成记录”控件生成的日期。

4.配置JavaScript控件

双击“JavaScript”控件，进入“JavaScript”配置界面，勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；单击【获取变量】按钮，将代码中定义的变量添加至字段框中；在Java Script代码框中编写代码。

//Script here
//生成locale
var locale = new java.util.Locale(language.getString(),country_code.getString());
//生成Calendar
var calendar = new java.util.GregorianCalendar(locale);
//设置时间
calendar.setTime(initial_date.getDate());
//设置日历为当前日期
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger()-1);
//获取日期
var date = new java.util.Date(calendar.getTimeInMillis());
//生成短日期
var date_short = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,locale).format(date);
//生成中日期
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,locale).format(date);
//生成长日期
var date_long = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,locale).format(date);
//生成全日期
var date_full = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,locale).format(date);
//简单格式化
var simpleDateFormat = java.text.SimpleDateFormat("D",locale);
//天在年的第几天
var day_in_year = simpleDateFormat.format(date);
//建立格式器
simpleDateFormat.applyPattern("d");
//天在月的第几天
var day_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("EEEE");
//星期的名称
var day_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("E");
//星期的缩写
var day_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("ww");
//一年的第几周
var week_in_year = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("W");
//一月的第几周
var week_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MM");
//月份
var month_number = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMMM");
//月的名称
var month_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMM");
//月的缩写
var month_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yy");
//两位的年
var year2 = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yyyy");
//四位的年
var year4 = simpleDateFormat.format(date);

//季度名称
var quarter_name = "Q";
//季度
var quarter_number;
switch(parseInt(month_number)){
	case 1:case 2:case 3:quarter_number = "1";break;
	case 4:case 5:case 6:quarter_number = "2";break;
	case 7:case 8:case 9:quarter_number = "3";break;
	case 10:case 11:case 12:quarter_number = "4";break;
}
quarter_name += quarter_number;
//定义常量
var yes = "yes";
var no = "no";
//获取周的第一天
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;

//判断是否为周的第一天
var is_first_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_first_day_in_week = yes;
}else{
	is_first_day_in_week = no;
}

//日历的下一天
calendar.add(calendar.DAY_OF_MONTH,1);
//获取下一天
var next_day = new java.util.Date(calendar.getTimeInMillis());
//判断是否周的最后一天
var is_last_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_last_day_in_week = yes;
}else{
	is_last_day_in_week = no;
}
//判断是否为月的第一天
var is_first_day_in_month;
if(day_in_month == 1){
	is_first_day_in_month = yes;
}else{
	is_first_day_in_month = no;
}

//判断是否为月的最后一天
var is_last_day_in_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){
	is_last_day_in_month = yes;
}else{
	is_last_day_in_month = no;
}

//年_季度
var year_quarter = year4 + "-" + quarter_name;

//年_月份
var year_month_number = year4 + "-" + month_number;

//年_月缩写
var year_month_abbreviation = year4 + "-" + month_abbreviation;

//日期代理剑（唯一键）
var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;

5.配置表输出控件

双击“表输出”控件，进入“表输出”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。

 6.运行转换load_dim_date

7.查看数据表dim_date中的数据

 B 通过Kettle工具加载时间数据至日期维度表dim_time

1.打开Kettle工具，创建转换load_dim_time

2.配置生成记录控件

双击“生成记录”控件，进入“生成记录”配置界面，在“限制”处添加生成的时间，这里添加的是生成24小时数据，起始的时间为0；在“字段”框添加生成小时字段的相关信息。

3.配置增加序列控件

双击“增加序列”控件，进入“增加序列”配置界面，将“值的名称”处将valuename改为hours24，即增加一列小时字段，由于时间是由时分秒构成，因此我们需要生成时分秒字段的数据，这里生成24小时数据，后续步骤中会生成60分和60秒的数据。

4.配置JavaScript代码控件

双击“JavaScript代码”控件，进入“JavaScript代码”界面，勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；在Java Script代码框中编写代码；单击【获取变量】按钮，将代码中定义的变量添加至字段框。

5.配置生成记录2控件

双击“生成记录2”控件，进入“生成记录”界面，在“限制”后的文本框添加60表示生成60条数据（60分钟从0分开始至59分结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0。

6.配置增加序列2控件

双击“增加序列2”控件，进入“增加序列2”界面，将“值的名称”处将valuename改为minutes，即增加一列分钟字段，用于记录分钟数，在起始值后的文本框内将默认值1修改为0，表示从0开始生成60条数据（上一步“生成记录2”控件限制了条数），即生成数据为0-59。

7.配置生成记录3控件

双击“生成记录3”控件，进入“生成记录”界面，在“限制”后的文本框添加60，表示生成60条数据（即60秒钟从0秒开始至59秒结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0。

8.配置增加序列3控件

双击“增加序列3”控件，进入“增加序列3”界面，将“值的名称”处将valuename改为minutes，即增加一列秒字段，用于记录秒数，在起始值后的文本框内将默认值1修改为0，表示从0开始生成60条数据（上一步骤中“生成记录3”控件限制了条数），即生成数据为0-59。

9.配置JavaScript代码2控件

双击“JavaScript代码2”控件，进入“JavaScript代码2”界面，勾选“兼容模式？”处的复选框，使得JavaScript代码2控件的兼容性更强；在Java Script代码框中编写代码；单击【获取变量】按钮，将代码中定义的变量添加至字段框。

10.配置表输出控件

双击“表输出”控件，进入“表输出”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_time；勾选“指定数据库字段”的复选框，用于将维度表dim_time的字段与JavaScript 控件流中的字段进行匹配。单击【输入字段映射】按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击【猜一猜】按钮，让Kettle自动实现映射。单击映射匹配对话框的【确定】按钮，“表输出”界面最终显示的效果如图所示，单击【确定】按钮，完成“表输出”控件的配置。

11.运行load_dim_time转换

12.查看数据表dim_time中的数据