ETL笔记——第八章 综合案例（构建DVD租赁商店数据仓库）

一、加载日期数据至日期维度表

通过Kettle工具加载日期数据至dim_date日期维度表。

1、load_dim_date转换

（1）创建一个转换load_dim_date，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线。

（2）各控件配置

1）配置生成记录控件

        在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language（语言）、country_code（国家码）、initial_date（初始化的日期），对生成的日期进行初始化。

2）配置增加序列控件

        在“值的名称”处将valuename改为DaySequence，即增加一列日期字段，后续用于改变“生成记录”控件生成的日期。

3）配置JavaScript控件

        勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；在Java Script代码框中编写代码。

//Script here
//生成locale
var locale = new java.util.Locale(language.getString(),country_code.getString());
//生成Calendar
var calendar = new java.util.GregorianCalendar(locale);
//设置时间
calendar.setTime(initial_date.getDate());
//设置日历为当前日期
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger()-1);
//获取日期
var date = new java.util.Date(calendar.getTimeInMillis());
//生成短日期
var date_short = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,locale).format(date);
//生成中日期
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,locale).format(date);
//生成长日期
var date_long = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,locale).format(date);
//生成全日期
var date_full = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,locale).format(date);
//简单格式化
var simpleDateFormat = java.text.SimpleDateFormat("D",locale);
//天在年的第几天
var day_in_year = simpleDateFormat.format(date);
//建立格式器
simpleDateFormat.applyPattern("d");
//天在月的第几天
var day_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("EEEE");
//星期的名称
var day_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("E");
//星期的缩写
var day_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("ww");
//一年的第几周
var week_in_year = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("W");
//一月的第几周
var week_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MM");
//月份
var month_number = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMMM");
//月的名称
var month_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMM");
//月的缩写
var month_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yy");
//两位的年
var year2 = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yyyy");
//四位的年
var year4 = simpleDateFormat.format(date);

//季度名称
var quarter_name = "Q";
//季度
var quarter_number;
switch(parseInt(month_number)){
	case 1:case 2:case 3:quarter_number = "1";break;
	case 4:case 5:case 6:quarter_number = "2";break;
	case 7:case 8:case 9:quarter_number = "3";break;
	case 10:case 11:case 12:quarter_number = "4";break;
}
quarter_name += quarter_number;
//定义常量
var yes = "yes";
var no = "no";
//获取周的第一天
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;

//判断是否为周的第一天
var is_first_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_first_day_in_week = yes;
}else{
	is_first_day_in_week = no;
}

//日历的下一天
calendar.add(calendar.DAY_OF_MONTH,1);
//获取下一天
var next_day = new java.util.Date(calendar.getTimeInMillis());
//判断是否周的最后一天
var is_last_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_last_day_in_week = yes;
}else{
	is_last_day_in_week = no;
}
//判断是否为月的第一天
var is_first_day_in_month;
if(day_in_month == 1){
	is_first_day_in_month = yes;
}else{
	is_first_day_in_month = no;
}

//判断是否为月的最后一天
var is_last_day_in_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){
	is_last_day_in_month = yes;
}else{
	is_last_day_in_month = no;
}

//年_季度
var year_quarter = year4 + "-" + quarter_name;

//年_月份
var year_month_number = year4 + "-" + month_number;

//年_月缩写
var year_month_abbreviation = year4 + "-" + month_abbreviation;

//日期代理剑（唯一键）
var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;

单击【获取变量】按钮，将代码中定义的变量添加至字段框中。

“JavaScript代码”控件的具体配置效果如下。

4）配置表输出控件

新建数据库连接，选择输出的目标表，即维度表dim_date；勾选“指定数据库字段”的复选框。

        单击【输入字段映射】按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中。

“表输出”界面最终显示的效果如下。

2、运行load_dim_date转换

通过SQLyog工具，查看数据表dim_date是否已成功插入3650条日期数据。

二、加载时间数据至时间维度表

通过Kettle工具加载时间数据至日期维度表dim_time。

1、load_dim_time转换

（1）创建一个转换load_dim_time，并添加生成记录控件、增加序列控件、JavaScript代码控件、记录关联（笛卡尔输出）控件、表输出控件以及Hop跳连接线。

（2）各控件配置

1）配置生成记录控件

2）配置增加序列控件

3）配置JavaScript代码控件

4）配置生成记录2控件

5）配置增加序列2控件

6）配置生成记录3控件

7）配置增加序列3控件

8）配置JavaScript代码2控件

9）配置表输出控件

2、运行load_dim_time转换

通过SQLyog工具，查看数据表dim_time是否已成功插入86400条时间数据。

三、加载员工数据至员工维度表

通过Kettle工具加载员工数据至员工维度表dim_staff。

1、load_dim_staff转换

（1）创建一个转换load_dim_staff，并添加表输入控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线。

（2）各控件配置

1）配置表输入控件

        编写SQL语句，用于获取字段staff_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_staff_last_update；单击“预览”按钮，查看临时字段max_dim_staff_last_update是否将默认值设置为“1970-01-01 00:00:00”。

2）配置表输入2控件

编写SQL语句，用于获取sakila数据库中staff数据表中的最新数据。

3）配置字段选择控件

        在“元数据”选项卡的“需要改变元数据的字段”处添加字段active，由于数据仓库sakila_dw中字段staff_active的数据类型为char类型，因此，我们需要将数据表staff中字段active的数据类型改为String类型。

4）配置值映射控件

        在“使用的字段名”处的下拉框选择字段active；在“字段值”框中，添加源值和目标值，这里是将Y替换成Yes，将N替换成No。

5）配置维度查询/更新控件

        选择输出的目标表，即维度表dim_staff；在“关键字”选项卡处添加关键字字段staff_id，用于指定维度表字段和值映射控件流中字段的比较条件，若维度表中的数据有更新，则通过字段staff_id进行更新操作；在“字段”选项卡处添加查询/更新字段，用于更新目标维度表中的字段数据；在“代理关键字段”处的下拉框中选择staff_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Version字段”处的下拉框中选择staff_version_number；在“Stream日期字段”处的下拉框中选择last_update；在“开始日期字段”处的下拉框中选择staff_valid_from；在“截止日期字段”处的下拉框中选择staff_valid_through。

 

 

2、运行load_dim_staff转换

通过SQLyog工具，查看数据表dim_staff是否已成功插入员工数据。

四、加载用户数据至用户维度表

通过Kettle工具加载用户数据至用户维度表dim_customer。

1、load_dim_customer转换

（1）创建一个转换load_dim_customer，并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线。

（2）各控件配置

1）配置表输入控件

        在SQL框中编写用于获取字段customer_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_customer_last_update。

2）配置表输入2控件

在SQL框中编写SQL语句，用于获取数据库sakila中数据表customer中的最新数据。

3）配置映射控件

创建一个转换fetch_address如下图：

配置映射输入规范控件：

        进入“Mapping input specification”界面，并添加映射的字段“address_id”，该字段为传递的参数（由于转换load_dim_customer中表输入2控件流获取的字段address_id，用于查询用户的地址信息，而后续数据仓库的维度表数据也需要用户的地址信息，因此这里将字段address_id作为传递的参数）。

配置数据库查询控件：

        添加数据表address；在“查询所需的关键字”框中，添加查询所需的关键字字段address_id，由于该字段是唯一的，因此可作为数据表address中数据和映射输入规范控件流中数据的比较条件；在“查询表返回的值”框中，添加查询表返回的值。

配置数据库查询2控件：

        添加数据表city；在“查询所需的关键字”框中，添加查询所需的关键字字段city_id，作为数据表city中数据和数据库查询2控件流中数据相比较的条件；在“查询表返回的值”框中，添加查询表返回的值。

配置数据库查询3控件：

        添加数据表country；在“查询所需的关键字”框中，添加查询所需的关键字字段country_id，用于指定字段流与表字段的数据进行比较的比较条件；在“查询表返回的值”框中。

配置过滤记录控件：

配置JavaScript代码控件：

配置字段选择控件：

配置映射控件：

        单击“转换”选项卡处的【Browser】按钮，选择添加转换fetch_address，用于获取用户的地址信息。

4）配置字段选择控件

由于数据表customer中字段active的类型为tinyint，因此需要将字段active的类型改为String。

5）配置值映射控件

6）配置维度查询/更新控件

 

 

2、运行load_dim_customer转换

通过SQLyog工具，查看数据表dim_customer是否已成功插入用户数据。

五、加载商店数据至商店维度表

通过Kettle工具加载商店数据至商店维度表dim_store。

1、load_dim_store转换

（1）创建一个转换load_dim_store，并添加表输入控件、映射控件、数据库查询控件、维度查询/更新控件以及Hop跳连接线。

（2）各控件配置

1）配置表输入控件

2）配置表输入2控件

3）配置映射控件

4）配置数据库查询控件

5）配置维度查询/更新控件

 

 

2、运行load_dim_store转换

通过SQLyog工具，查看数据表dim_store是否已成功插入商店数据。

六、 加载演员数据至演员维度表

通过Kettle工具加载演员数据至演员维度表dim_actor。

1、load_dim_actor转换

（1）创建一个转换load_dim_actor，并添加表输入控件、插入/更新控件以及Hop跳连接线。

（2）各控件配置

1）配置表输入控件

2）配置表输入2控件

3）配置插入/更新控件

2、运行load_dim_actor转换

通过SQLyog工具，查看数据表dim_actor是否已成功插入演员数据。

 七、加载电影数据至电影维度表

通过Kettle工具加载电影数据至电影维度表dim_film。

1、load_dim_film转换

1）配置表输入控件

2）配置表输入2控件

3）配置数据库查询控件

4）配置数据库查询2控件

5）配置值映射控件

        在“使用的字段名”处的下拉框选择字段rating，指定对电影级别的字段rating进行映射；在“目标字段名”处添加rating_text字段，用于存储目标值；在“字段值”框中，添加源值和目标值，其中，源值为G（大众级，所有年龄的观众均可观看）、PG（普通级，建议在父母的陪伴下观看）、PG-13（普通级，但不适于13岁以下儿童，需要父母陪同观看）、R（限制级，17岁以下必须由父母或者监护陪伴才能观看）、NC-17（禁止17岁或者以下观众观看），这些均为美国电影分级级别的简称，对应的全称目标值为General Audiences、Parental Guidance Suggested、Parents Strongly Cautioned、Restricted、No One Under 17 Admitted。

6）配置列拆分为多行控件

        由于special_features字段表示的是电影的特点，而电影的特点有多个，因此要进行拆分；在“要拆分的字段”处的下拉框选择要拆分的字段special_features；在“分隔符”处指定分隔符；在“新字段名”框中，添加新的字段名，用于存放利用分隔符分割后得数据。

7）配置增加常量控件

        用于后续判断某电影是否有预告片、是否有评论、是否删减片段以及是否有幕后等内容，有则用yes标识，反之用no标识。

8）配置列转行控件

        选择关键字段special_feature，由于字段special_feature中包含一个或多个内容，因此需要对字段special_feature进行列转行操作；在“构成分组的字段”框中添加分组字段；在“目标字段框”中添加目标字段。

9）配置计算器控件

用于存储将列转行控件流中的字段special_feature字段的NULL值替换成No的数据。

10）配置数据库连接控件

        编写SQL语句，用于根据电影id获取电影的分类；在“The parameters to use”框中，添加编写SQL语句需要的参数，即film_id，计算器控件流中的字段film_id作为参数进行传递。

11）配置数据库查询3控件

        添加数据表category，用于获取电影分类的id；在“查询所需的关键字”框中，添加查询所需的关键字字段category_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即name，并重命名为category。

12）配置增加常量2控件

13）配置列转行2控件

        选择关键字段category，根据电影分类的名称对电影进行分类；在“构成分组的字段”框中添加分组字段；在“目标字段框”中添加目标字段。

14）配置计算器2控件

用于将列转行2控件流中字段category中的NULL值替换成No。

15）配置联合查询/更新控件

        选择目标表，即维度表dim_film，用于加载最新的电影维度数据，并在“代理关键字”框中添加代理关键字段，并指定创建代理键为自增字段；在“关键字段”框中添加维度字段和流里的字段。

16）配置数据库连接2控件

        编写SQL语句，用于根据电影id获取演员的id，从而获取演员的基本信息；在“The parameters to use”框中，添加需要的参数，即film_id。

17）配置数据库查询4控件

        添加数据表dim_actor，用于获取演员的基本信息；在“查询所需的关键字”框中，添加查询所需的关键字字段actor_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值。

18）配置分组控件

        在“构成分组的字段”框中添加分组字段film_key，对“数据库查询4”控件流中的数据按字段film_key进行分组；在“聚合”框中添加聚合字段count_actors，用于统计出演某部电影的演员个数。

19）配置计算器3控件

        添加新字段one和actor_weighting_factor，其中字段one为自定义的常量，指定值为1，是一个临时值，可移除；字段actor_weighting_factor用于存储演员的权重因子。

20）配置流查询控件

        在“Lookup step”处的下拉框选择要查询的流，即计算器3控件流；在“查询值所需的关键字”处，添加用于查询流里值的字段，即film_key，通过使用数据库查询4控件中的字段film_key去计算器3控件流中匹配相应的数据；在“指定用来接收的字段”框中，添加用来接收值的字段actor_weighting_factor，最终输出。

21）配置插入/更新控件

2、运行load_dim_film转换

通过SQLyog工具，查看数据表dim_film和数据表dim_film_actor_bridge是否已成功插入数据。

dim_film表：

dim_film_actor_bridge表：

八、加载租赁数据至租赁事实表

通过Kettle工具加载租赁数据至租赁事实表fact_rental。

1、load_fact_rental转换

1）配置表输入控件

2）配置表输入2控件

3）配置字段选择控件

4）配置过滤记录控件

对归还时间进行过滤操作，判断归还时间不为空。

5）配置计算器控件

6）配置增加常量控件

添加常量字段rental_duration、count_returns、return_date_key1，用来记录归还的日期。

7）配置数据库查询控件

        添加数据表inventory，用于查询电影库存的信息；在“查询所需的关键字”框中，添加查询所需的关键字字段inventory_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即字段film_id和store_id的数据。

8）配置数据库查询2控件

        添加维度表dim_film，用于获取数据仓库中维度表dim_film中的数据；在“查询所需的关键字”框中，添加查询所需的关键字字段film_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即字段film_key。

9）配置维度查询/更新控件

        选择输出的目标表，即维度表dim_customer；在“关键字”选项卡处添加关键字字段；在“代理关键字段”处的下拉框中选择customer_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Stream日期字段”处的下拉框中选择rental_datetime；在“开始日期字段”处的下拉框中选择customer_valid_from；在“截止日期字段”处的下拉框中选择customer_valid_through。

10）配置维度查询/更新2控件

        选择输出的目标表，即维度表dim_staff；在“关键字”选项卡处添加关键字字段staff_id；在“代理关键字段”处的下拉框中选择staff_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Stream日期字段”处的下拉框中选择rental_datetime；在“开始日期字段”处的下拉框中选择staff_valid_from；在“截止日期字段”处的下拉框中选择staff_valid_through。

11）配置维度查询/更新3控件

        选择输出的目标表，即维度表dim_store；在“关键字”选项卡处添加关键字字段store_id；在“代理关键字段”处的下拉框中选择store_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Stream日期字段”处的下拉框中选择rental_datetime；在“开始日期字段”处的下拉框中选择store_valid_from；在“截止日期字段”处的下拉框中选择store_valid_through。

12）配置增加常量2控件

添加常量字段count_rentals，用于统计租赁的次数。

13）配置插入/更新控件

        选择目标表，即维度表fact_rental；单击【获取字段】按钮，用来指定查询数据所需要的关键字字段rental_id，用于指定表字段和流字段的比较条件；单击【获取和更新字段】按钮，用来指定需要更新的字段。

2、运行load_fact_rental转换

通过SQLyog工具，查看事实表fact_rental是否已成功插入数据。

九、加载数据库sakila中的数据至数据仓库sakila_dw

通过Kettle工具将前面小节创建的转换整合成一个整体，用于定时操作DVD租赁商店的数据仓库。

1、load_rentals作业

1）配置转换控件

单击“Transformations”处的【浏览】按钮，选择添加转换load_dim_staff。

2）配置转换2控件

单击“Transformations”处的【浏览】按钮，选择添加转换load_dim_customer。

3）配置转换3控件

单击“Transformations”处的【浏览】按钮，选择添加转换load_dim_store。

4）配置转换4控件

单击“Transformations”处的【浏览】按钮，选择添加转换load_dim_actor。

5）配置转换5控件

单击“Transformations”处的【浏览】按钮，选择添加转换load_dim_film。

6）配置转换6控件

单击“Transformations”处的【浏览】按钮，选择添加转换load_fact_rental

7）配置发送邮件控件

在“地址”选项卡中添加收件人和发件人的信息。

在“服务器”选项卡中添加邮件服务器和验证的信息；在“邮件消息”选项卡中添加消息内容，如图所示。这里使用发送邮件控件，主要用于接收作业运行成功的提醒。

8）配置发送邮件2控件

使用发送邮件2控件，主要用于接收作业运行错误的提醒信息。

2、运行load_rentals作业

通过SQLyog工具，查看数据仓库sakila_dw中的维度表和事实表是否已成功插入数据。

dim_actor表：

 dim_customer表：

 fact_rental表：

 dim_film表：

 dim_film_actor_bridge表：

 dim_staff表：

dim_time表：

 

dim_date表：