第8章 ——构建DVD租赁商店数据仓库

Kettle9.3

已于 2022-12-27 08:57:01 修改

阅读量2.6k

点赞数 6

文章标签： etl sql javascript

于 2022-11-22 22:31:51 首次发布

本文链接：https://blog.csdn.net/m0_73539526/article/details/127884247

版权

一、案例概述

1.案例背景

sakila样本数据库是MySQL官方提供的一个模拟DVD租赁商店管理的数据库。本次就是要对数据库sakila中的数据进行清洗操作，从而构建一个DVD租赁商店数据仓库系统，即实现定期从源数据库sakila中抽取增量数据，转换成符合DVD租赁业务的数据，最后加载到目标数据仓库中，便于在线DVD租赁商店的决策者对数据进行分析得出商业决策。

2.数据仓库的架构模型

数据仓库sakila_dw的架构模型是一个星型模型，其中dim_film表、dim_customer表、dim_actor表、dim_store表、dim_staff表、dim_date表以及dim_time表均为维度表；fact_rental表为事实表。

二、数据准备

我们可以从MySQL的官网下载数据库sakila的建库脚本，若是在Windows环境下安装数据库sakila，则下载名称为sakila-db.zip的压缩包文件；若是在Linux环境下安装数据库sakila，需要下载名称为sakila-db.tar.gz的压缩包文件。

本次下载的是名称为sakila-db.zip的压缩包文件，该压缩包文件中包含三个文件，分别是文件sakila.mwb、文件sakila-data.sql和文件sakila-schema.sql。其中，文件sakila.mwb是一个MySQL Workbench数据模型，用于查看数据库结构；文件sakila-data.sql是用于创建数据库sakila的数据；文件sakila-schema.sql是用于创建数据库sakila的数据结构。使用MySQL图形化管理软件SQLyog先运行脚本文件sakila-schema.sql创建数据库sakila和数据表，再运行脚本文件sakila-data.sql向数据库sakila中的数据表加载数据

数据库sakila中一共含有十六张数据表，分别是actor（演员）表、address（地址）表、category（类别）表、city（城市）表、country（国家）表、customer（顾客）表、film（电影）表、film_actor（演员所属电影）表、film_category（电影所属的类别）表、film_text（电影描述）表、inventory（库存）表、language（语言）表、payment（付款）表、rental（租赁）表、staff（工作人员）表以及store（商店）表。

三、案例实现

我们基于数据库sakila构建一个星型模型的DVD租赁商店数据仓库，并命名为sakila_dw。使用MySQL图形化管理软件SQLyog运行sakila_dw_schema.sql脚本文件创建sakila_dw数据仓库即可。

数据仓库脚本提取码：6666

1.加载日期数据至日期维度表

通过Kettle工具加载日期数据至dim_date日期维度表。

双击生成记录，“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期；在“字段”框添加字段language、country_code、initial_date，对生成的日期进行初始化。

双击增加序列进行配置，只需要填一个值即可

双击JavaScript进行配置，JavaScript代码如下，勾选兼容模式复选框，字段名称截图也如下

//Script here
//生成locale
var locale = new java.util.Locale(language.getString(),country_code.getString());
//生成Calendar
var calendar = new java.util.GregorianCalendar(locale);
//设置时间
calendar.setTime(initial_date.getDate());
//设置日历为当前日期
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger()-1);
//获取日期
var date = new java.util.Date(calendar.getTimeInMillis());
//生成短日期
var date_short = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,locale).format(date);
//生成中日期
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,locale).format(date);
//生成长日期
var date_long = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,locale).format(date);
//生成全日期
var date_full = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,locale).format(date);
//简单格式化
var simpleDateFormat = java.text.SimpleDateFormat("D",locale);
//天在年的第几天
var day_in_year = simpleDateFormat.format(date);
//建立格式器
simpleDateFormat.applyPattern("d");
//天在月的第几天
var day_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("EEEE");
//星期的名称
var day_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("E");
//星期的缩写
var day_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("ww");
//一年的第几周
var week_in_year = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("W");
//一月的第几周
var week_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MM");
//月份
var month_number = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMMM");
//月的名称
var month_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMM");
//月的缩写
var month_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yy");
//两位的年
var year2 = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yyyy");
//四位的年
var year4 = simpleDateFormat.format(date);

//季度名称
var quarter_name = "Q";
//季度
var quarter_number;
switch(parseInt(month_number)){
	case 1:case 2:case 3:quarter_number = "1";break;
	case 4:case 5:case 6:quarter_number = "2";break;
	case 7:case 8:case 9:quarter_number = "3";break;
	case 10:case 11:case 12:quarter_number = "4";break;
}
quarter_name += quarter_number;
//定义常量
var yes = "yes";
var no = "no";
//获取周的第一天
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;

//判断是否为周的第一天
var is_first_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_first_day_in_week = yes;
}else{
	is_first_day_in_week = no;
}

//日历的下一天
calendar.add(calendar.DAY_OF_MONTH,1);
//获取下一天
var next_day = new java.util.Date(calendar.getTimeInMillis());
//判断是否周的最后一天
var is_last_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_last_day_in_week = yes;
}else{
	is_last_day_in_week = no;
}
//判断是否为月的第一天
var is_first_day_in_month;
if(day_in_month == 1){
	is_first_day_in_month = yes;
}else{
	is_first_day_in_month = no;
}

//判断是否为月的最后一天
var is_last_day_in_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){
	is_last_day_in_month = yes;
}else{
	is_last_day_in_month = no;
}

//年_季度
var year_quarter = year4 + "-" + quarter_name;

//年_月份
var year_month_number = year4 + "-" + month_number;

//年_月缩写
var year_month_abbreviation = year4 + "-" + month_abbreviation;

//日期代理剑（唯一键）
var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;

双击表输出进行配置，先新建连接，选择目标数据库sakila_dw，目标表dim_date，指定数据库字段，输入数据库字段映射

运行转换查看结果

查看sqlyog表中最后面的数据，2000-2009,10年的数据成功插入

2.加载时间数据至时间维度表

通过Kettle工具加载时间数据至日期维度表dim_time。

双击“生成记录”控件，进入“生成记录”配置界面，在“限制”处添加生成的时间，这里添加的是生成24小时数据，起始的时间为0；在“字段”框添加生成小时字段的相关信息。

双击“增加序列”控件，进入“增加序列”配置界面，将“值的名称”处将valuename改为hours24，具体配置如下：

双击“JavaScript代码”控件，进入“JavaScript代码”界面，勾选“兼容模式？”处的复选框，在Java Script代码框中编写代码；单击【获取变量】按钮，将代码中定义的变量添加至字段框。

var hours12=hours24.getInteger()%12;
var am_pm=hours24.getInteger()>12 ? "PM":"AM";

双击“生成记录2”控件，进入“生成记录”界面，在“限制”后的文本框添加60表示生成60条数据（60分钟从0分开始至59分结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0，如图所示。

双击“增加序列2”控件，进入“增加序列2”界面，将“值的名称”处将valuename改为minutes，即增加一列分钟字段，用于记录分钟数，在起始值后的文本框内将默认值1修改为0

双击“生成记录3”控件，进入“生成记录”界面，在“限制”后的文本框添加60，表示生成60条数据（即60秒钟从0秒开始至59秒结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0，如图所示。

双击“增加序列3”控件，进入“增加序列3”界面，将“值的名称”处将valuename改为minutes，即增加一列秒字段，用于记录秒数，在起始值后的文本框内将默认值1修改为0

双击“JavaScript代码2”控件，进入“JavaScript代码2”界面，勾选“兼容模式？”处的复选框。在Java Script代码框中编写代码；单击【获取变量】按钮，将代码中定义的变量添加至字段框。

var time=hours24.getInteger()+":"+minutes.getInteger()+":"+seconds.getInteger();
var time_key=(hours24.getInteger()<10 ? "0":"")
+hours24.getInteger()+(minutes.getInteger()<10 ? "0":"")
+minutes.getInteger()+(seconds.getInteger()<10 ? "0":"")
+seconds.getInteger();

双击“表输出”控件，单击【新建】按钮，配置数据库连接，选择目标表，确定数据表字段映射

运行转换查看结果

3.加载员工数据至员工维度表

通过Kettle工具加载员工数据至员工维度表dim_staff

双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，然后填写sql语句用于获取字段staff_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_staff_last_update；

SELECT COALESCE(max(staff_last_update),"1970-01-01 00:00:00")
max_dim_staff_last_update
from dim_staff;

预览数据

双击“表输入2”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，在SQL框中编写SQL语句，用于获取sakila数据库中staff数据表中的最新数据，将步骤插入数据选择表输入

SELECT staff_id
,first_name
,last_name
,address_id
,picture
,email
,store_id
,active
,username
,password
,last_update 
FROM staff WHERE last_update > ?

双击“字段选择”控件，进入“选择/改名值”界面，在“元数据”选项卡的“需要改变元数据的字段”处添加字段active，由于数据仓库sakila_dw中字段staff_active的数据类型为char类型，因此，我们需要将数据表staff中字段active的数据类型改为String类型

双击“值映射”控件，进入“值映射”界面，在“使用的字段名”处的下拉框选择字段active；在“字段值”框中，添加源值和目标值，这里是将Y替换成Yes，将N替换成No

双击“维度查询/更新”控件，单击【新建】按钮，配置数据库连接

单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_staff；在“关键字”选项卡处添加关键字字段staff_id，用于指定维度表字段和值映射控件流中字段的比较条件，若维度表中的数据有更新，则通过字段staff_id进行更新操作；在“字段”选项卡处添加查询/更新字段，用于更新目标维度表中的字段数据；在“代理关键字段”处的下拉框中选择staff_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Version字段”处的下拉框中选择staff_version_number；在“Stream日期字段”处的下拉框中选择last_update；在“开始日期字段”处的下拉框中选择staff_valid_from；在“截止日期字段”处的下拉框中选择staff_valid_through

选择更新的字段

运行转换查看结果

4. 加载用户数据至用户维度表

通过Kettle工具加载用户数据至用户维度表dim_customer

双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，在SQL框中编写用于获取字段customer_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_customer_last_update；单击“预览”按钮，查看临时字段max_dim_customer_last_update是否将默认值设置为“1970-01-01 00:00:00”

SELECT coalesce (max(customer_last_update),"1970-01-01 00:00:00")
as max_dim_customer_last_update FROM dim_customer;

双击“表输入2”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，在SQL框中编写SQL语句，用于获取数据库sakila中数据表customer中的最新数据，如图所示。

SELECT customer_id ,store_id,first_name,last_name,email,address_id,active,
create_date,last_update FROM customer WHERE last_update >?

使用Kettle工具，创建一个转换，该转换为dim_customer的子转换

双击“映射输入规范”控件，进入“Mapping input specification”界面，并添加映射的字段“address_id”，该字段为传递的参数（由于转换父转换表输入2控件流获取的字段address_id，用于查询用户的地址信息，而后续数据仓库的维度表数据也需要用户的地址信息，因此这里将字段address_id作为传递的参数），添加完毕后单击【确定】按钮，完成“映射输入规范”控件的配置

双击“数据库查询”控件，进入“数据库查询”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。单击名右侧的【浏览】按钮，添加数据表address；在“查询所需的关键字”框中，添加查询所需的关键字字段address_id，由于该字段是唯一的，因此可作为数据表address中数据和映射输入规范控件流中数据的比较条件；在“查询表返回的值”框中，添加查询表返回的值，如图所示。

双击“数据库查询2”控件，进入“数据库查询”界面，单击表名处的【浏览】按钮，添加数据表city；在“查询所需的关键字”框中，添加查询所需的关键字字段city_id，作为数据表city中数据和数据库查询2控件流中数据相比较的条件；在“查询表返回的值”框中，添加查询表返回的值，如图所示。

双击“数据库查询3”控件，进入“数据库查询”配置界面，单击表名处的【浏览】按钮，添加数据表country；在“查询所需的关键字”框中，添加查询所需的关键字字段country_id，用于指定字段流与表字段的数据进行比较的比较条件；在“查询表返回的值”框中，添加查询表返回的值，如图所示。

双击“过滤记录”控件，进入“过滤记录”配置界面，在“条件”处设置过滤的条件，对有第二个地址的用户进行过滤操作；单击左边“<field>”框，弹出字段对话框，选择要过滤的字段address2，如图所示。单击“=”框，弹出函数对话框，选择过滤条件（这里选择的是IS NOT NULL），在“发送true数据给步骤：”处的下拉框中选择“JavaScript代码”，将有第二个地址的用户放在JavaScript控件中，用于后续的操作；在“发送false数据给步骤：”处的下拉框中选择“字段选择”，将没有第二地址的用户过滤掉

双击“JavaScript代码”控件，进入“JavaScript代码”配置界面，勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；在Java Script代码框中编写代码，

var address=address.getString()+" "+address2.getString();

双击“字段选择”控件，进入“选择/改名值”界面，在“元数据”选项卡的“移除”处添加要移除的字段，

双击“映射”控件，进入“映射”界面，单击“转换”选项卡处的【Browser】按钮，选择刚才配置的子转换，用于获取用户的地址信息，如图所示。

双击步骤1中的“字段选择”控件，进入“选择/改名值”界面，在“元数据”选项卡的“需要改变元数据的字段”处添加字段active，由于数据表customer中字段active的类型为tinyint，因此需要将字段active的类型改为String，与维度表dim_customer中字段customer_active的类型相对应，如图所示。

双击步骤1中的“值映射”控件，进入“值映射”界面，在“使用的字段名”处的下拉框选择字段active；在“字段值”框中，添加源值和目标值，由于数据表customer中字段active的值为1和0，对应的是Y和N，这里将Y替换成Yes，将N替换成No，如图所示

双击“维度查询/更新”控件，进入“维度查询/更新”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_customer；在“关键字”选项卡处添加关键字字段customer_id，用于指定维度表字段和流字段的比较条件；在“字段”选项卡处添加查询/更新字段；在“代理关键字段”处的下拉框中选择customer_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Version字段”处的下拉框中选择customer_version_number；在“Stream日期字段”处的下拉框中选择last_update；在“开始日期字段”处的下拉框中选择customer_valid_from；在“截止日期字段”处的下拉框中选择customer_valid_through，如图所示

运行转换查看执行结果

5.加载商店数据至商店维度表

通过Kettle工具加载商店数据至商店维度表dim_store。

双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，在SQL框中编写SQL语句，用于获取字段store_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_store_last_update；单击“预览”按钮，查看临时字段max_dim_store_last_update是否将默认值设置为“1970-01-01 00:00:00” ，如图所示。

SELECT coalesce (max(store_last_update),"1970-01-01 00:00:00")
as max_dim_store_last_update FROM dim_store;

双击“表输入2”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，在SQL框中编写SQL语句，用于获取sakila数据库中store数据表中的最新数据，如图所示

双击“映射”控件，进入“映射”界面，单击“转换”选项卡处的【Browser】按钮，选择添加上一步创建的子转换，用于获取用户的地址信息，如图所示。

双击“数据库查询”控件，进入“数据库查询”配置界面，单击表名右侧的【浏览】按钮，添加staff数据表，用于查询商店员工的信息；在“查询所需的关键字”框中，添加查询所需的关键字staff_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即员工姓名，如图所示。

双击“维度查询/更新”控件，进入“维度查询/更新”界面，单击【浏览】按钮，选择输出的目标表，即维度表dim_store；在“关键字”选项卡处添加关键字字段store_id，用于指定维度表字段和流字段的比较条件；在“字段”选项卡处添加查询/更新字段，用于指定维度表字段store_id和流字段store_id数据一致需要更新的字段，；在“代理关键字段”处的下拉框中选择store_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Version字段”处的下拉框中选择store_version_number；在“Stream日期字段”处的下拉框中选择last_update；在“开始日期字段”处的下拉框中选择store_valid_from；在“截止日期字段”处的下拉框中选择store_valid_through，如图所示。

运行转换查看执行结果

6.加载演员数据至演员维度表

通过Kettle工具加载演员数据至演员维度表dim_actor

双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，在SQL框中编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_actor_last_update；单击“预览”按钮，查看临时字段max_dim_actor_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图所示。

SELECT coalesce (max(actor_last_update),"1970-01-01 00:00:00")
as max_dim_actor_last_update FROM dim_actor;

双击“表输入2”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，在SQL框中编写SQL语句，用于获取数据库sakila中数据表actor中的最新数据，如图所示。

SELECT actor_id,first_name,last_name,last_update FROM actor WHERE last_update >?

双击“插入/更新”控件，进入“插入/更新”界面，单击【新建】按钮，配置数据库连接，单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里选择的是dim_actor数据表中的actor_id字段和输入流里面的actor_id字段；单击【获取和更新字段】按钮，用来指定需要更新的字段，如图所示。

运行转换查看执行结果

7.加载电影数据至电影维度表

通过Kettle工具加载电影数据至电影维度表dim_film。

双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，

在SQL框中编写SQL语句，用于获取字段film_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_film_last_update；单击“预览”按钮，查看临时字段max_dim_film_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图所示。

SELECT coalesce (max(film_last_update),"1970-01-01 00:00:00")
as max_dim_film_last_update FROM dim_film;

双击“表输入2”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，在SQL框中编写SQL语句，用于获取sakila数据库中film数据表中的最新数据，如图所示。

SELECT film_id,title,description,cast(release_year as unsigned)as release_year,
language_id,original_language_id,rental_duration,rental_rate,length,replacement_cost,
rating,sepcial_features,last_update FROM film WHERE last_update >? ;

双击“数据库查询”控件，进入“数据库查询”界面，单击表名处的【浏览】按钮，添加数据表language，用于查询电影的语言，在“查询所需的关键字”框中，添加查询所需的关键字字段language_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的字段name，并重命名为language，如图所示。

双击“数据库查询2”控件，进入“数据库查询”界面，单击表名处的【浏览】按钮，添加数据表language，用于查询电影原版的语言，在“查询所需的关键字”框中，添加查询所需的关键字字段language_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回字段name并重命名为original_language，并对于电影原版语言为Null值，则可设置默认值为Not Application，如图所示。

双击“值映射”控件，进入“值映射”界面，在“使用的字段名”处的下拉框选择字段rating，指定对电影级别的字段rating进行映射；在“目标字段名”处添加rating_text字段，用于存储目标值；在“字段值”框中，添加源值和目标值，其中，源值为G（大众级，所有年龄的观众均可观看）、PG（普通级，建议在父母的陪伴下观看）、PG-13（普通级，但不适于13岁以下儿童，需要父母陪同观看）、R（限制级，17岁以下必须由父母或者监护陪伴才能观看）、NC-17（禁止17岁或者以下观众观看），这些均为美国电影分级级别的简称，对应的全称目标值为General Audiences、Parental Guidance Suggested、Parents Strongly Cautioned、Restricted、No One Under 17 Admitted，值映射控件的配置，具体如图所示

双击 “列拆分为多行”控件，进入“列拆分为多行”界面，由于special_features字段表示的是电影的特点，而电影的特点有多个，因此要进行拆分；在“要拆分的字段”处的下拉框选择要拆分的字段special_features；在“分隔符”处指定分隔符；在“新字段名”框中，添加新的字段名，用于存放利用分隔符分割后得数据，如图所示。

双击“增加常量”控件，进入“增加常量”配置界面，在字段框中添加常量字段Yes和No，并指定值为yes和no，用于后续判断某电影是否有预告片、是否有评论、是否删减片段以及是否有幕后等内容，有则用yes标识，反之用no标识

双击“列转行”控件，进入“列转行”界面，在“关键字段”处的下拉框中选择关键字段special_feature，由于字段special_feature中包含一个或多个内容，因此需要对字段special_feature进行列转行操作；在“构成分组的字段”框中添加分组字段；在“目标字段框”中添加目标字段，如图所示。

双击“计算器”控件，进入“计算器”界面，在“字段”处，添加新字段，用于存储将列转行控件流中的字段special_feature字段的NULL值替换成No的数据

双击“数据库连接”控件，在SQL框中编写SQL语句，用于根据电影id获取电影的分类；在“The parameters to use”框中，添加编写SQL语句需要的参数，即film_id，计算器控件流中的字段film_id作为参数进行传递，供数据库连接控件使用如图所示。

双击“数据库查询3”控件，进入“数据库查询”界面，单击表名处的【浏览】按钮，添加数据表category，用于获取电影分类的id；在“查询所需的关键字”框中，添加查询所需的关键字字段category_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即name，并重命名为category，如图所示。

双击“增加常量2”控件，进入“增加常量”界面，在字段框中添加常量字段Yes，由于在“增加常量”控件中设置的常量Yes已经被替换，所以需要添加一个常量，具体如图所示

双击“列转行2”控件，进入“列转行”界面，在“关键字段”处的下拉框中选择关键字段category，根据电影分类的名称对电影进行分类；在“构成分组的字段”框中添加分组字段，如图所示（见本页）；在“目标字段框”中添加目标字段

双击“计算器2”控件，进入“计算器”界面，在“字段”处，添加新字段，用于将列转行2控件流中字段category中的NULL值替换成No，如图所示

双击“联合查询/更新”控件，进入“联合查询/更新”界面，单击目标表右侧的【浏览】按钮，选择目标表，即维度表dim_film，用于加载最新的电影维度数据，并在“代理关键字”框中添加代理关键字段，并指定创建代理键为自增字段；在“关键字段”框中添加维度字段和流里的字段如图所示

双击“数据库连接2”控件，在SQL框中编写SQL语句，用于根据电影id获取演员的id，从而获取演员的基本信息；在“The parameters to use”框中，添加需要的参数，即film_id，

双击“数据库查询4”控件，进入“数据库查询”界面，单击表名处的【浏览】按钮，添加数据表dim_actor，用于获取演员的基本信息；在“查询所需的关键字”框中，添加查询所需的关键字字段actor_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，如图所示。

双击“分组”控件，进入“分组”界面，在“构成分组的字段”框中添加分组字段film_key，对“数据库查询4”控件流中的数据按字段film_key进行分组；在“聚合”框中添加聚合字段count_actors，用于统计出演某部电影的演员个数，分组控件的配置如图所示

双击“计算器3”控件，进入“计算器”界面，在“字段”处，添加新字段one和actor_weighting_factor，其中字段one为自定义的常量，指定值为1，是一个临时值，可移除；字段actor_weighting_factor用于存储演员的权重因子，如图所示。

双击“流查询”控件，进入“流里的值查询”界面，在“Lookup step”处的下拉框选择要查询的流，即计算器3控件流；在“查询值所需的关键字”处，添加用于查询流里值的字段，即film_key，通过使用数据库查询4控件中的字段film_key去计算器3控件流中匹配相应的数据；在“指定用来接收的字段”框中，添加用来接收值的字段actor_weighting_factor，最终输出，流查询控件的配置，如图所示。

双击“插入/更新”控件，进入“插入/更新”界面，单击目标表右侧的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标表，即维度表dim_film_actor_bridge；单击【获取字段】按钮，用来指定查询数据所需要的关键字；单击【获取和更新字段】按钮，用来指定需要更新的字段。插入/更新控件用于通过比较流与表中字段得数据，更新维度表dim_film_actor_bridge表中数据。插入/更新控件的配置如图所示

运行转换查看结果

8.加载租赁数据至租赁事实表

通过Kettle工具加载租赁数据至租赁事实表fact_rental。

双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，在SQL框中编写SQL语句，用于获取字段rental_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_fact_rental_last_update；单击“预览”按钮，查看临时字段max_fact_rental_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图所示。

SELECT coalesce (max(rental_last_update),"1970-01-01 00:00:00")
as max_fact_rental_last_update FROM fact_rental;

双击“表输入2”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，在SQL框中编写SQL语句，用于获取sakila数据库中rental数据表中的最新数据，如图所示

SELECT rental_id,rental_date,inventory_id,customer_id,return_date,staff_id,last_update 
FROM rental WHERE last_update >?

双击“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡中添加要修改的字段，如图所示；在“元数据”选项卡的“需要改变元数据的字段”处添加字段。这里使用字段选择控件用于构建数据仓库中维度表需要的字段数据，如图所示

双击“过滤记录”控件，进入“过滤记录”界面，在“条件”处设置过滤的条件，对归还时间进行过滤操作；选择要过滤的字段return_datetime（归还时间），单击“=”框，弹出函数对话框，选择过滤条件（这里选择的是IS NOT NULL（不为空）），单击【确定】按钮，完成过滤条件的选择，判断归还时间不为空,在“发送true数据给步骤：”处的下拉框中选择“计算器”，将字段return_datetime不为空的数据传递到计算器控件流中；在“发送false数据给步骤：”处的下拉框中选择“增加常量”，将为空的数据传递到增加常量控件流中，如图所示

双击“计算器”控件，进入“计算器”界面，在“字段”处，添加新字段milisecs、rental_duration_milisecs、rental_duration、count_returns、return_date_key1，其中字段milisecs为自定义常量，值为1000；字段rental_duration_milisecs用于存储租赁的毫秒数；字段rental_duration用于存储租赁的周期；字段count_returns为自定义字段，用于统计归还的次数；字段return_date_key1用于存储归还的日期。这里使用计算器控件用于计算租赁的周期，如图所示。

双击“增加常量”控件，进入“增加常量”界面，在字段框中添加常量字段rental_duration、count_returns、return_date_key1，用来记录归还的日期

双击“数据库查询”控件，进入“数据库查询”界面,单击表名右侧的【浏览】按钮，添加数据表inventory，用于查询电影库存的信息；在“查询所需的关键字”框中，添加查询所需的关键字字段inventory_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即字段film_id和store_id的数据，如图所示。

双击“数据库查询2”控件，进入“数据库查询”界面,单击表名右侧的【浏览】按钮，添加维度表dim_film，用于获取数据仓库中维度表dim_film中的数据；在“查询所需的关键字”框中，添加查询所需的关键字字段film_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即字段film_key，如图所示

双击“维度查询/更新”控件，进入“维度查询/更新”界面,单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_customer；在“关键字”选项卡处添加关键字字段；在“代理关键字段”处的下拉框中选择customer_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Stream日期字段”处的下拉框中选择rental_datetime；在“开始日期字段”处的下拉框中选择customer_valid_from；在“截止日期字段”处的下拉框中选择customer_valid_through，如图所示。

双击“维度查询/更新2”控件，单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_staff；在“关键字”选项卡处添加关键字字段staff_id；在“代理关键字段”处的下拉框中选择staff_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Stream日期字段”处的下拉框中选择rental_datetime；在“开始日期字段”处的下拉框中选择staff_valid_from；在“截止日期字段”处的下拉框中选择staff_valid_through，如图所示。

双击“维度查询/更新3”控件，进入“维度查询/更新”界面，单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_store；在“关键字”选项卡处添加关键字字段store_id；在“代理关键字段”处的下拉框中选择store_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Stream日期字段”处的下拉框中选择rental_datetime；在“开始日期字段”处的下拉框中选择store_valid_from；在“截止日期字段”处的下拉框中选择store_valid_through，如图所示。

双击“增加常量2”控件，进入“增加常量”界面，在字段框中添加常量字段count_rentals，用于统计租赁的次数

双击“插入/更新”控件，进入“插入/更新”界面，单击目标表右侧的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标表，即维度表fact_rental；单击【获取字段】按钮，用来指定查询数据所需要的关键字字段rental_id，用于指定表字段和流字段的比较条件；单击【获取和更新字段】按钮，用来指定需要更新的字段，如图所示。