sakila样本数据库是MySQL官方提供的一个模拟DVD租赁商店管理的数据库。本章,我们将综合运用前面几章的知识,对数据库sakila中的数据进行清洗操作,从而构建一个DVD租赁商店数据仓库系统,即实现定期从源数据库sakila中抽取增量数据,转换成符合DVD租赁业务的数据,最后加载到目标数据仓库中。
一.前期准备
1.利用sakila.sql文件创建sacila数据库
2.创建sakila_dw数据库用来存放目标表格
二.案例
1.加载日期数据至日期维度表
(1).创建如下图所示的转换
(2)配置生成记录控件
(3)配置增加序列控件
(4)配置JavaScript代码控件(要勾选兼容模式否则会报错,获取变量共得到26条变量)
javascript代码如下
//Script here
//生成locale
var locale = new java.util.Locale(language.getString(),country_code.getString());
//生成Calendar
var calendar = new java.util.GregorianCalendar(locale);
//设置时间
calendar.setTime(initial_date.getDate());
//设置日历为当前日期
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger()-1);
//获取日期
var date = new java.util.Date(calendar.getTimeInMillis());
//生成短日期
var date_short = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,locale).format(date);
//生成中日期
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,locale).format(date);
//生成长日期
var date_long = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,locale).format(date);
//生成全日期
var date_full = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,locale).format(date);
//简单格式化
var simpleDateFormat = java.text.SimpleDateFormat("D",locale);
//天在年的第几天
var day_in_year = simpleDateFormat.format(date);
//建立格式器
simpleDateFormat.applyPattern("d");
//天在月的第几天
var day_in_month = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("EEEE");
//星期的名称
var day_name = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("E");
//星期的缩写
var day_abbreviation = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("ww");
//一年的第几周
var week_in_year = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("W");
//一月的第几周
var week_in_month = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("MM");
//月份
var month_number = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("MMMM");
//月的名称
var month_name = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("MMM");
//月的缩写
var month_abbreviation = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("yy");
//两位的年
var year2 = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("yyyy");
//四位的年
var year4 = simpleDateFormat.format(date);
//季度名称
var quarter_name = "Q";
//季度
var quarter_number;
switch(parseInt(month_number)){
case 1:case 2:case 3:quarter_number = "1";break;
case 4:case 5:case 6:quarter_number = "2";break;
case 7:case 8:case 9:quarter_number = "3";break;
case 10:case 11:case 12:quarter_number = "4";break;
}
quarter_name += quarter_number;
//定义常量
var yes = "yes";
var no = "no";
//获取周的第一天
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;
//判断是否为周的第一天
var is_first_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
is_first_day_in_week = yes;
}else{
is_first_day_in_week = no;
}
//日历的下一天
calendar.add(calendar.DAY_OF_MONTH,1);
//获取下一天
var next_day = new java.util.Date(calendar.getTimeInMillis());
//判断是否周的最后一天
var is_last_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
is_last_day_in_week = yes;
}else{
is_last_day_in_week = no;
}
//判断是否为月的第一天
var is_first_day_in_month;
if(day_in_month == 1){
is_first_day_in_month = yes;
}else{
is_first_day_in_month = no;
}
//判断是否为月的最后一天
var is_last_day_in_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){
is_last_day_in_month = yes;
}else{
is_last_day_in_month = no;
}
//年_季度
var year_quarter = year4 + "-" + quarter_name;
//年_月份
var year_month_number = year4 + "-" + month_number;
//年_月缩写
var year_month_abbreviation = year4 + "-" + month_abbreviation;
//日期代理剑(唯一键)
var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;
(5)配置表输出控件
(6)运行转换
2.加载时间数据至时间维度表
(1)创建如下图所示的转换
(2)配置生成记录控件
(3)配置增加序列控件
(4)配置JavaScript代码
(5)配置表输出控件
(6)运行转换,查看数据库sakila_dw中表dim_time中的数据
3. 加载员工数据至员工维度表
(1)创建如下图所示的转换
(2)配置表输入控件
(3) 配置字段选择控件
(4)配置值映射控件
(5)配置维度查询/更新控件
(6)运行转换,查看dim_staff表
4.加载用户数据至用户维度表
(1)创建如下图所示的转换
(2)配置表输入控件
(3)创建如下图所示的子转换
(4)配置映射输入规范控件
(5)配置数据库查询控件
(6)配置过滤记录控件
(7)配置JavaScript代码控件
(8)配置字段选择控件
(9)配置值映射控件
(10)配置字段选择控件
(11)配置值映射控件
(12)配置维度查询/更新控件
(13)运行转换,查看dim_customer表