第8章 综合案例—构建DVD租赁商店数据仓库

8.3加载日期数据至日期维度表

案例介绍:通过Kettle工具加载日期数据至dim_date日期维度表。

一:打开kettle工具,创建转换

①使用Kettle工具,创建一个转换load_dim_date,并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线,

二:配置生成记录控件

②双击“生成记录”控件,进入“生成记录”配置界面。在“限制”处添加生成的日期,默认为10,这里改为3650,即生成10年的日期(10*365);在“字段”框添加字段language(语言)、country_code(国家码)、initial_date(初始化的日期),对生成的日期进行初始化,

三:配置增加序列控件

③双击“增加序列”控件,进入“增加序列”配置界面,并在“值的名称”处将valuename改为DaySequence,即增加一列日期字段,后续用于改变“生成记录”控件生成的日期,

四:配置Javascript控件

④双击“JavaScript”控件,进入“JavaScript”配置界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码(代码见教材),单击【获取变量】按钮,将代码中定义的变量添加至字段框中,“JavaScript代码”控件的具体配置效果如图所示,单击【确定】按钮,完成“JavaScript代码”控件的配置。

五:配置表输出控件

⑤双击“表输出”控件,进入“表输出”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_date;勾选“指定数据库字段”的复选框,用于将维度表字段与JavaScript控件流中的变量字段进行匹配如图所示。单击【输入字段映射】按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击【Add】按钮,将一对映射字段添加至“映射”选项框中,若“源字段”选项框的字段和“目标字段”选项框的字段相同,则可以单击【猜一猜】按钮,让Kettle自动实现映射,单击映射匹配对话框的【确定】按钮,“表输出”界面最终显示的效果如图所示,单击【确定】按钮,完成“表输出”控件的配置。

六:运行转换

七:查看dim_data中的数据

⑦通过SQLyog工具,查看数据表dim_date是否已成功插入3650条日期数据,查看结果如图所示

案例如下:

 

 

8.3加载时间数据至时间维度表

一:打开kettle工具,创建转换

①使用Kettle工具,创建一个转换load_dim_time,并添加生成记录控件、增加序列控件、JavaScript代码控件、记录关联(笛卡尔输出)控件、表输出控件以及Hop跳连接线,

二:配置生成记录控件

②双击“生成记录”控件,进入“生成记录”配置界面,在“限制”处添加生成的时间,这里添加的是生成24小时数据,起始的时间为0;在“字段”框添加生成小时字段的相关信息,

三:配置增加序列控件

③双击“增加序列”控件,进入“增加序列”配置界面,将“值的名称”处将valuename改为hours24,即增加一列小时字段,由于时间是由时分秒构成,因此我们需要生成时分秒字段的数据,这里生成24小时数据,后续步骤中会生成60分和60秒的数据,

四:配置Javascript代码控件

④双击“JavaScript代码”控件,进入“JavaScript代码”界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码;单击【获取变量】按钮,将代码中定义的变量添加至字段框。

五:配置生成记录2控件

⑤双击“生成记录2”控件,进入“生成记录”界面,在“限制”后的文本框添加60表示生成60条数据(60分钟从0分开始至59分结束共60条数据);在“字段”框添加生成字段的名称、字段类型及默认值为0,

六:配置增加序列2控件

⑥双击“增加序列2”控件,进入“增加序列2”界面,将“值的名称”处将valuename改为minutes,即增加一列分钟字段,用于记录分钟数,在起始值后的文本框内将默认值1修改为0,表示从0开始生成60条数据(上一步“生成记录2”控件限制了条数),即生成数据为0-59,

八:配置生成记录3控件

⑧双击“生成记录3”控件,进入“生成记录”界面,在“限制”后的文本框添加60,表示生成60条数据(即60秒钟从0秒开始至59秒结束共60条数据);在“字段”框添加生成字段的名称、字段类型及默认值为0,双击“增加序列3”控件,进入“增加序列3”界面,将“值的名称”处将valuename改为minutes,即增加一列秒字段,用于记录秒数,在起始值后的文本框内将默认值1修改为0,表示从0开始生成60条数据(上一步骤中“生成记录3”控件限制了条数),即生成数据为0-59,

九:配置Javascript代码2控件

⑨双击“JavaScript代码2”控件,进入“JavaScript代码2”界面,勾选“兼容模式?”处的复选框,使得JavaScript代码2控件的兼容性更强;在Java Script代码框中编写代码;单击【获取变量】按钮,将代码中定义的变量添加至字段框。JavaScript代码2控件的配置,

十:配置表输出控件

10,双击“表输出”控件,进入“表输出”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_time;勾选“指定数据库字段”的复选框,用于将维度表dim_time的字段与JavaScript 控件流中的字段进行匹配,单击【输入字段映射】按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击【Add】按钮,将一对映射字段添加至“映射”选项框中,若“源字段”选项框的字段和“目标字段”选项框的字段相同,则可以单击【猜一猜】按钮,让Kettle自动实现映射,单击映射匹配对话框的【确定】按钮,“表输出”界面最终显示的效果如图所示,单击【确定】按钮,完成“表输出”控件的配置。

十一:运行转换

十二:查看数据表dim_time中的数据

12,通过SQLyog工具,查看数据表dim_time是否已成功插入86400条时间数据,

案例如下:

 

 

8.3加载员工数据至员工维度表

案例介绍:通过Kettle工具加载员工数据至员工维度表dim_staff。

一:打开kettle工具,创建转换

①使用Kettle工具,创建一个转换load_dim_staff,并添加表输入控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线,

二:配置表输入控件

②双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写SQL语句,用于获取字段staff_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_staff_last_update;单击“预览”按钮,查看临时字段max_dim_staff_last_update是否将默认值设置为“1970-01-01 00:00:00”,

三:配置表输入2控件

③双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写SQL语句,用于获取sakila数据库中staff数据表中的最新数据,

四:配置字段选择控件

④双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“需要改变元数据的字段”处添加字段active,由于数据仓库sakila_dw中字段staff_active的数据类型为char类型,因此,我们需要将数据表staff中字段active的数据类型改为String类型,

五:配置值映射控件

双击“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段active;在“字段值”框中,添加源值和目标值,这里是将Y替换成Yes,将N替换成No,

六:配置维度查询\更新控件

⑥双击“维度查询/更新”控件,进入“维度查询/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_staff;在“关键字”选项卡处添加关键字字段staff_id,用于指定维度表字段和值映射控件流中字段的比较条件,若维度表中的数据有更新,则通过字段staff_id进行更新操作;在“字段”选项卡处添加查询/更新字段,用于更新目标维度表中的字段数据;在“代理关键字段”处的下拉框中选择staff_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Version字段”处的下拉框中选择staff_version_number;在“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择staff_valid_from;在“截止日期字段”处的下拉框中选择staff_valid_through,

七:运行转换

八:查看数据表dim_staff中的数据

⑧通过SQLyog工具,查看数据表dim_staff是否已成功插入员工数据,查看结果如图所示。

案例如下:

 

 

8.3加载用户数据至用户维度表

案例介绍:通过Kettle工具加载用户数据至用户维度表dim_customer。

一:打开kettle工具,创建转换

①使用Kettle工具,创建一个转换load_dim_customer,并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线,

二:配置表输入控件

②双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写用于获取字段customer_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_customer_last_update;单击“预览”按钮,查看临时字段max_dim_customer_last_update是否将默认值设置为“1970-01-01 00:00:00”,

三:配置表输入2控件

③双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写SQL语句,用于获取数据库sakila中数据表customer中的最新数据,

四:打开kettle工具,新建转换

④使用Kettle工具,创建一个转换fetch_address(该转换为转换load_dim_customer的子转换),并添加映射输入规范控件、数据库查询控件、过滤记录控件、JavaScript代码控件、字段选择控件以及Hop跳连接线,

五:配置映射输入规范控件

⑤双击“映射输入规范”控件,进入“Mapping input specification”界面,并添加映射的字段“address_id”,该字段为传递的参数(由于转换load_dim_customer中表输入2控件流获取的字段address_id,用于查询用户的地址信息,而后续数据仓库的维度表数据也需要用户的地址信息,因此这里将字段address_id作为传递的参数),添加完毕后单击【确定】按钮,完成“映射输入规范”控件的配置,

六:配置数据库查询控件

⑥双击“数据库查询”控件,进入“数据库查询”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击名右侧的【浏览】按钮,添加数据表address;在“查询所需的关键字”框中,添加查询所需的关键字字段address_id,由于该字段是唯一的,因此可作为数据表address中数据和映射输入规范控件流中数据的比较条件;在“查询表返回的值”框中,添加查询表返回的值,

七:配置数据库查询2控件

⑦双击“数据库查询2”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击表名处的【浏览】按钮,添加数据表city;在“查询所需的关键字”框中,添加查询所需的关键字字段city_id,作为数据表city中数据和数据库查询2控件流中数据相比较的条件;在“查询表返回的值”框中,添加查询表返回的值,

八:配置数据库查询3控件

⑧双击“数据库查询3”控件,进入“数据库查询”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,        单击表名处的【浏览】按钮,添加数据表country;在“查询所需的关键字”框中,添加查询所需的关键字字段country_id,用于指定字段流与表字段的数据进行比较的比较条件;在“查询表返回的值”框中,添加查询表返回的值,

九:配置过滤记录控件

⑨双击“过滤记录”控件,进入“过滤记录”配置界面,在“条件”处设置过滤的条件,对有第二个地址的用户进行过滤操作;单击左边“<field>”框,弹出字段对话框,选择要过滤的字段address2,单击“=”框,弹出函数对话框,选择过滤条件(这里选择的是IS NOT NULL),即过滤指定字段中不为空的数据,单击【确定】按钮,完成过滤条件的选择。字段address2的过滤设置如图所示。在“发送true数据给步骤:”处的下拉框中选择“JavaScript代码”,将有第二个地址的用户放在JavaScript控件中,用于后续的操作;在“发送false数据给步骤:”处的下拉框中选择“字段选择”,将没有第二地址的用户过滤掉,

十:配置Javascript代码控件

⑩双击“JavaScript代码”控件,进入“JavaScript代码”配置界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码,

十一:配置字段选择控件

11,双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“移除”处添加要移除的字段,

十二:配置映射控件

12,双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息,

十三:配置字段选择控件

13,双击步骤1中的“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“需要改变元数据的字段”处添加字段active,由于数据表customer中字段active的类型为tinyint,因此需要将字段active的类型改为String,与维度表dim_customer中字段customer_active的类型相对应,

十四:配置值映射控件

14,双击步骤1中的“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段active;在“字段值”框中,添加源值和目标值,由于数据表customer中字段active的值为1和0,对应的是Y和N,这里将Y替换成Yes,将N替换成No,

十五:配置维度查询\更新控件

15,双击“维度查询/更新”控件,进入“维度查询/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_customer;在“关键字”选项卡处添加关键字字段customer_id,用于指定维度表字段和流字段的比较条件;在“字段”选项卡处添加查询/更新字段;在“代理关键字段”处的下拉框中选择customer_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Version字段”处的下拉框中选择customer_version_number;在“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择customer_valid_from;在“截止日期字段”处的下拉框中选择customer_valid_through,

十六:运行转换

十七;查看数据表dim-customer中的数据

17,通过SQLyog工具,查看数据表dim_customer是否已成功插入用户数据,查看结果如图所示

案例如下:

 

 

8.3加载商店数据至商店维度表

一:打开kettle工具,创建转换

①使用Kettle工具,创建一个转换load_dim_store,并添加表输入控件、映射控件、数据库查询控件、维度查询/更新控件以及Hop跳连接线,

二:配置表输入控件

②双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写SQL语句,用于获取字段store_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_store_last_update;单击“预览”按钮,查看临时字段max_dim_store_last_update是否将默认值设置为“1970-01-01 00:00:00” ,

三:配置表输入2控件

③双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写SQL语句,用于获取sakila数据库中store数据表中的最新数据,

四:配置映射控件

④双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息,

五:配置数据库查询控件

⑤双击“数据库查询”控件,进入“数据库查询”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名右侧的【浏览】按钮,添加staff数据表,用于查询商店员工的信息;在“查询所需的关键字”框中,添加查询所需的关键字staff_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,即员工姓名,

六:配置维度查询\更新控件

⑥双击“维度查询/更新”控件,进入“维度查询/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击【浏览】按钮,选择输出的目标表,即维度表dim_store;在“关键字”选项卡处添加关键字字段store_id,用于指定维度表字段和流字段的比较条件;在“字段”选项卡处添加查询/更新字段,用于指定维度表字段store_id和流字段store_id数据一致需要更新的字段,;在“代理关键字段”处的下拉框中选择store_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Version字段”处的下拉框中选择store_version_number;在“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择store_valid_from;在“截止日期字段”处的下拉框中选择store_valid_through,        

七:运行转换

八:查看数据表dim_store中的数据

⑧通过SQLyog工具,查看数据表dim_store是否已成功插入商店数据,查看结果如图所示。

案例如下:

 

 

8.3加载演员数据至演员维度表

案例介绍:通过Kettle工具加载演员数据至演员维度表dim_actor。

一:打卡kettle工具,创建转换

①使用Kettle工具,创建一个转换load_dim_actor,并添加表输入控件、插入/更新控件以及Hop跳连接线,

二:配置表输入控件

②双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写SQL语句,用于获取字段actor_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_actor_last_update;单击“预览”按钮,查看临时字段max_dim_actor_last_update是否将默认值设置为“1970-01-01 00:00:00”,

三:配置表输入2控件

③双击“表输入2”控件,进入“表输入”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。在SQL框中编写SQL语句,用于获取数据库sakila中数据表actor中的最新数据,

四:配置插入\更新控件

④双击“插入/更新”控件,进入“插入/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击目标表右侧的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表,即维度表dim_actor,单击【获取字段】按钮,用来指定查询数据所需要的关键字,这里选择的是dim_actor数据表中的actor_id字段和输入流里面的actor_id字段;单击【获取和更新字段】按钮,用来指定需要更新的字段,

五:运行转换

六:查看数据表dim_doctor中的数据

案例如下:

 

 

8.3加载电影数据至电影维度表

案例介绍:通过Kettle工具加载电影数据至电影维度表dim_film。

一:打卡kettle工具,创建转换

①使用Kettle工具,创建一个转换load_dim_film,并添加表输入控件、数据库查询控件、值映射控件、列拆分为多行控件、增加常量控件、列转行控件、计算器控件、数据库连接控件、联合查询/更新控件、分组控件、流查询控件、插入/更新控件以及Hop跳连接线,

二:配置表输入控件

②双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写SQL语句,用于获取字段film_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_film_last_update;单击“预览”按钮,查看临时字段max_dim_film_last_update是否将默认值设置为“1970-01-01 00:00:00”,

三:配置表输入2控件

③双击“表输入2”控件,进入“表输入”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。在SQL框中编写SQL语句,用于获取sakila数据库中film数据表中的最新数据,

四:配置数据库查询控件

④双击“数据库查询”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名处的【浏览】按钮,添加数据表language,用于查询电影的语言,在“查询所需的关键字”框中,添加查询所需的关键字字段language_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的字段name,并重命名为language,

五:配置数据库查询2控件

⑤双击“数据库查询2”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名处的【浏览】按钮,添加数据表language,用于查询电影原版的语言,在“查询所需的关键字”框中,添加查询所需的关键字字段language_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回字段name并重命名为original_language,并对于电影原版语言为Null值,则可设置默认值为Not Application,

六:配置值映射控件

⑥双击“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段rating,指定对电影级别的字段rating进行映射;在“目标字段名”处添加rating_text字段,用于存储目标值;在“字段值”框中,添加源值和目标值,其中,源值为G(大众级,所有年龄的观众均可观看)、PG(普通级,建议在父母的陪伴下观看)、PG-13(普通级,但不适于13岁以下儿童,需要父母陪同观看)、R(限制级,17岁以下必须由父母或者监护陪伴才能观看)、NC-17(禁止17岁或者以下观众观看),这些均为美国电影分级级别的简称,对应的全称目标值为General Audiences、Parental Guidance Suggested、Parents Strongly Cautioned、Restricted、No One Under 17 Admitted,值映射控件的配置,

七:配置列拆分为多行控件

⑦双击 “列拆分为多行”控件,进入“列拆分为多行”界面,由于special_features字段表示的是电影的特点,而电影的特点有多个,因此要进行拆分;在“要拆分的字段”处的下拉框选择要拆分的字段special_features;在“分隔符”处指定分隔符;在“新字段名”框中,添加新的字段名,用于存放利用分隔符分割后得数据,

八:配置增加常量控件

⑧双击“增加常量”控件,进入“增加常量”配置界面,在字段框中添加常量字段Yes和No,并指定值为yes和no,用于后续判断某电影是否有预告片、是否有评论、是否删减片段以及是否有幕后等内容,有则用yes标识,反之用no标识。“增加常量”控件的配置,

九:配置列转行控件

⑨双击“列转行”控件,进入“列转行”界面,在“关键字段”处的下拉框中选择关键字段special_feature,由于字段special_feature中包含一个或多个内容,因此需要对字段special_feature进行列转行操作;在“构成分组的字段”框中添加分组字段;在“目标字段框”中添加目标字段,

十:配置计算器控件

⑩双击“计算器”控件,进入“计算器”界面,在“字段”处,添加新字段,用于存储将列转行控件流中的字段special_feature字段的NULL值替换成No的数据,

十一:配置数据库连接控件

11,双击“数据库连接”控件,进入“Database join”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。在SQL框中编写SQL语句,用于根据电影id获取电影的分类;在“The parameters to use”框中,添加编写SQL语句需要的参数,即film_id,计算器控件流中的字段film_id作为参数进行传递,供数据库连接控件使用如图所示。        

十二:配置数据库查询3控件

12,双击“数据库查询3”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名处的【浏览】按钮,添加数据表category,用于获取电影分类的id;在“查询所需的关键字”框中,添加查询所需的关键字字段category_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,即name,并重命名为category,

十三:配置增加常量3控件

13,双击“增加常量2”控件,进入“增加常量”界面,在字段框中添加常量字段Yes,由于在“增加常量”控件中设置的常量Yes已经被替换,所以需要添加一个常量,

十四:配置列转行控件2

14,双击“列转行2”控件,进入“列转行”界面,在“关键字段”处的下拉框中选择关键字段category,根据电影分类的名称对电影进行分类;在“构成分组的字段”框中添加分组字段,如图所示(见本页);在“目标字段框”中添加目标字段,

十五:配置计算器2控件

15,双击“计算器2”控件,进入“计算器”界面,在“字段”处,添加新字段,用于将列转行2控件流中字段category中的NULL值替换成No,

十六:配置联合查询\更新控件

16,双击“联合查询/更新”控件,进入“联合查询/更新”界面,,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击目标表右侧的【浏览】按钮,选择目标表,即维度表dim_film,用于加载最新的电影维度数据,并在“代理关键字”框中添加代理关键字段,并指定创建代理键为自增字段,如图所示(见本页);在“关键字段”框中添加维度字段和流里的字段,

十七:配置数据库连接2控件

17,双击“数据库连接2”控件,进入“Database join”界面;单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。在SQL框中编写SQL语句,用于根据电影id获取演员的id,从而获取演员的基本信息;在“The parameters to use”框中,添加需要的参数,即film_id,

十八:配置数据库查询4控件

18,双击“数据库查询4”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名处的【浏览】按钮,添加数据表dim_actor,用于获取演员的基本信息;在“查询所需的关键字”框中,添加查询所需的关键字字段actor_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,

十九:配置分组控件

19,双击“分组”控件,进入“分组”界面,在“构成分组的字段”框中添加分组字段film_key,对“数据库查询4”控件流中的数据按字段film_key进行分组;在“聚合”框中添加聚合字段count_actors,用于统计出演某部电影的演员个数,

二十:配置计算器3控件

20,双击“计算器3”控件,进入“计算器”界面,在“字段”处,添加新字段one和actor_weighting_factor,其中字段one为自定义的常量,指定值为1,是一个临时值,可移除;字段actor_weighting_factor用于存储演员的权重因子,

二十一:配置流查询控件

21,双击“流查询”控件,进入“流里的值查询”界面,在“Lookup step”处的下拉框选择要查询的流,即计算器3控件流;在“查询值所需的关键字”处,添加用于查询流里值的字段,即film_key,通过使用数据库查询4控件中的字段film_key去计算器3控件流中匹配相应的数据;在“指定用来接收的字段”框中,添加用来接收值的字段actor_weighting_factor,最终输出,流查询控件的配置,

二十二:配置查询\更新控件

22,双击“插入/更新”控件,进入“插入/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击目标表右侧的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表,即维度表dim_film_actor_bridge;单击【获取字段】按钮,用来指定查询数据所需要的关键字;单击【获取和更新字段】按钮,用来指定需要更新的字段。插入/更新控件用于通过比较流与表中字段得数据,更新维度表dim_film_actor_bridge表中数据。

二十三:运行转换

二十四:查看数据表dim_film和数据表dim_film_doctor_bridge中的数据

24,通过SQLyog工具,查看数据表dim_film和数据表dim_film_actor_bridge是否已成功插入数据,查看结果如图所示

案例如下:

 

 

 

8.3加载租赁数据至租赁事实表

案例如下:通过Kettle工具加载租赁数据至租赁事实表fact_rental。

一:打开kettle工具,创建转换

①使用Kettle工具,创建一个转换load_fact_rental,并添加表输入控件、字段选择控件、过滤记录控件、计算器控件、增加常量控件、数据库查询控件、维度查询/更新控件、插入/更新控件以及Hop跳连接线,

二:配置表输入控件

②双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写SQL语句,用于获取字段rental_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_fact_rental_last_update;单击“预览”按钮,查看临时字段max_fact_rental_last_update是否将默认值设置为“1970-01-01 00:00:00”,

三:配置表输入2控件

③双击“表输入2”控件,进入“表输入”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,在SQL框中编写SQL语句,用于获取sakila数据库中rental数据表中的最新数据,

四:配置字段选择控件

④双击“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡中添加要修改的字段,如图所示;在“元数据”选项卡的“需要改变元数据的字段”处添加字段。这里使用字段选择控件用于构建数据仓库中维度表需要的字段数据,

五:配置过滤记录控件

⑤双击“过滤记录”控件,进入“过滤记录”界面,在“条件”处设置过滤的条件,对归还时间进行过滤操作;单击左边“<field>”框,弹出字段对话框,选择要过滤的字段return_datetime(归还时间),单击“=”框,弹出函数对话框,选择过滤条件(这里选择的是IS NOT NULL(不为空)),单击【确定】按钮,完成过滤条件的选择,判断归还时间不为空。在“发送true数据给步骤:”处的下拉框中选择“计算器”,将字段return_datetime不为空的数据传递到计算器控件流中;在“发送false数据给步骤:”处的下拉框中选择“增加常量”,将为空的数据传递到增加常量控件流中,

六:配置计算器控件

⑥双击“计算器”控件,进入“计算器”界面,在“字段”处,添加新字段milisecs、rental_duration_milisecs、rental_duration、count_returns、return_date_key1,其中字段milisecs为自定义常量,值为1000;字段rental_duration_milisecs用于存储租赁的毫秒数;字段rental_duration用于存储租赁的周期;字段count_returns为自定义字段,用于统计归还的次数;字段return_date_key1用于存储归还的日期。这里使用计算器控件用于计算租赁的周期,

七:配置增加常量控件

⑦双击“增加常量”控件,进入“增加常量”界面,在字段框中添加常量字段rental_duration、count_returns、return_date_key1,用来记录归还的日期(由于在过滤记录控件中将归还日期为空的,输出到增加常量控件流中,因此需要在增加常量控件中添加用于记录归还日期的字段),

八:配置数据库查询控件

⑧双击“数据库查询”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击表名右侧的【浏览】按钮,添加数据表inventory,用于查询电影库存的信息;在“查询所需的关键字”框中,添加查询所需的关键字字段inventory_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,即字段film_id和store_id的数据,

九:配置数据库查询2控件

⑨双击“数据库查询2”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名右侧的【浏览】按钮,添加维度表dim_film,用于获取数据仓库中维度表dim_film中的数据;在“查询所需的关键字”框中,添加查询所需的关键字字段film_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,即字段film_key,

十:配置维度查询\更新控件

⑩双击“维度查询/更新”控件,进入“维度查询/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_customer;在“关键字”选项卡处添加关键字字段;在“代理关键字段”处的下拉框中选择customer_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Stream日期字段”处的下拉框中选择rental_datetime;在“开始日期字段”处的下拉框中选择customer_valid_from;在“截止日期字段”处的下拉框中选择customer_valid_through,

十一:配置维度查询\更新2控件

11,双击“维度查询/更新2”控件,进入“维度查询/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_staff;在“关键字”选项卡处添加关键字字段staff_id;在“代理关键字段”处的下拉框中选择staff_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Stream日期字段”处的下拉框中选择rental_datetime;在“开始日期字段”处的下拉框中选择staff_valid_from;在“截止日期字段”处的下拉框中选择staff_valid_through,

十二:配置维度\更新3控件

12,双击“维度查询/更新3”控件,进入“维度查询/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_store;在“关键字”选项卡处添加关键字字段store_id;在“代理关键字段”处的下拉框中选择store_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Stream日期字段”处的下拉框中选择rental_datetime;在“开始日期字段”处的下拉框中选择store_valid_from;在“截止日期字段”处的下拉框中选择store_valid_through,

十三:配置增加常量2控件

13,双击“增加常量2”控件,进入“增加常量”界面,在字段框中添加常量字段count_rentals,用于统计租赁的次数,

十四:配置插入\更新控件

14,双击“插入/更新”控件,进入“插入/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,单击目标表右侧的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表,即维度表fact_rental;单击【获取字段】按钮,用来指定查询数据所需要的关键字字段rental_id,用于指定表字段和流字段的比较条件;单击【获取和更新字段】按钮,用来指定需要更新的字段,

十五:运行转换

十六:查看事实表fact_rental中的数据

16,通过SQLyog工具,查看事实表fact_rental是否已成功插入数据,查看结果如图所示

案例如下:

 

 

8.3加载数据库sakila中的数据至数据仓库sakila_dw

案例介绍:通过Kettle工具将前面小节创建的转换整合成一个整体,用于定时操作DVD租赁商店的数据仓库。

一:打开kettle工具,创建转换

使用Kettle工具,创建一个作业load_rentals,并添加Start控件、转换控件、发送邮件控件、中止作业控件以及Hop作业项连接线,

二:配置转换控件

②双击“转换”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换load_dim_staff,

三:配置转换2控件

③双击“转换2”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换load_dim_customer,

四:配置转换3控件

④双击“转换3”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换load_dim_store,

五:配置转换4控件

⑤双击“转换4”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换load_dim_actor,

六:配置转换5控件

⑥双击“转换5”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换load_dim_film,

七:配置转换6控件

⑦双击“转换6”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换load_fact_rental,

八:配置发送邮件控件

⑧双击发送邮件控件,进入“发送邮件”界面,在“地址”选项卡中添加收件人和发件人的信息,在“服务器”选项卡中添加邮件服务器和验证的信息;在“邮件消息”选项卡中添加消息内容,如图所示。这里使用发送邮件控件,主要用于接收作业运行成功的提醒。

九:配置发送邮件2控件

⑨双击”发送邮件2”控件,进入“发送邮件”界面,在“地址”选项卡中添加收件人和发件人的信息,在“服务器”选项卡中添加邮件服务器和验证的信息,在“邮件消息”选项卡中添加消息内容,如图所示。使用发送邮件2控件,主要用于接收作业运行错误的提醒信息。

十:运行转换

十一:查看数据仓库sakila_dw中维度表的数据

11,通过SQLyog工具,查看数据仓库sakila_dw中的维度表和事实表是否已成功插入数据,查看结果如图所示。

案例如下:

 ​​​​​​​

 

 

 

 

 

 

 

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值