kettle （8 构建DVD租赁商店数据仓库）

最新推荐文章于 2024-07-23 14:05:29 发布

潘潘爱吃肉肉

最新推荐文章于 2024-07-23 14:05:29 发布

阅读量670

点赞数

分类专栏： kettle学习文章标签：数据仓库数据库

本文链接：https://blog.csdn.net/qq_56905137/article/details/128173472

版权

kettle学习专栏收录该内容

31 篇文章 5 订阅

订阅专栏

我们基于数据库sakila构建一个星型模型的DVD租赁商店数据仓库，并命名为sakila_dw。数据仓库sakila_dw中的事实表fact_rental是根据数据库sakila中的数据表rental创建的；维度表是根据数据表sakila中数据表的分类创建的，即从人员、时间、地点以及事件四个角度进行创建数据仓库sakila_dw的维度表，具体如下：

从人员角度角度创建维度表dim_customer和维度表dim_staff，分别表示租赁业务中的客户和员工；

从时间角度创建维度表dim_date和维度表dim_time，用于记录所有DVD的租赁时间和归还时间；

从地点角度创建维度表dim_store，用于记录DVD光盘是从哪个商店租赁的；

从事件角度创建维度表dim_actor和维度表dim_film，其中维度表dim_actor用于记录演员的基本信息，维度表dim_film用于记录电影的基本信息。由于电影是租赁和归还的实际对象，因此维度表dim_film应与事实表fact_rental关联。一部电影是由多位演员出演，所以会有桥接表dim_film_actor_bridge，该表将电影与演员相关联。

加载日期数据至日期维度表

一、创建转换

二、配置控件

1、生成记录

在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language（语言）、country_code（国家码）、initial_date（初始化的日期），对生成的日期进行初始化。

2、增加序列

双击“增加序列”控件，进入“增加序列”配置界面，并在“值的名称”处将valuename改为DaySequence，即增加一列日期字段，后续用于改变“生成记录”控件生成的日期。

3、JavaScript代码

双击“JavaScript”控件，进入“JavaScript”配置界面，勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强。

4、表输出

连接数据库

单击目标表右侧的“浏览”按钮，选择输出的目标表，即维度表dim_date；勾选“指定数据库字段”的复选框，用于将维度表字段与JavaScript控件流中的变量字段进行匹配。

单击“输入字段映射”按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击“Add”按钮，将一对映射字段添加至“映射”选项框中。

若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击“猜一猜”按钮，让Kettle自动实现映射。

单击映射匹配对话框的“确定”按钮，“表输出”界面最终显示的效果如图所示，单击“确定”按钮，完成“表输出”控件的配置。

三、执行结果

加载时间数据至时间维度表

一、创建转换

二、控件配置

1、生成记录

双击“生成记录”控件，进入“生成记录”配置界面，在“限制”处添加生成的时间，这里添加的是生成24小时数据，起始的时间为0；在“字段”框添加生成小时字段的相关信息。

2、增加序列

将“值的名称”处将valuename改为hours24，即增加一列小时字段，由于时间是由时分秒构成，因此我们需要生成时分秒字段的数据，这里生成24小时数据，后续步骤中会生成60分和60秒的数据。

3、JavaScript 代码

勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；在Java Script代码框中编写代码；单击“获取变量”按钮，将代码中定义的变量添加至字段框。

4、生成记录2

在“限制”后的文本框添加60表示生成60条数据（60分钟从0分开始至59分结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0。

5、增加序列2

将“值的名称”处将valuename改为minutes，即增加一列分钟字段，用于记录分钟数，在起始值后的文本框内将默认值1修改为0，表示从0开始生成60条数据（上一步“生成记录2”控件限制了条数），即生成数据为0-59。

6、生成记录3

在“限制”后的文本框添加60，表示生成60条数据（即60秒钟从0秒开始至59秒结束共60条数据）；在“字段”框添加生成字段的名称、字段类型及默认值为0。

7、增加序列3

将“值的名称”处将valuename改为minutes，即增加一列秒字段，用于记录秒数，在起始值后的文本框内将默认值1修改为0，表示从0开始生成60条数据（上一步骤中“生成记录3”控件限制了条数），即生成数据为0-59。

8、JavaScript代码2

勾选“兼容模式？”处的复选框，使得JavaScript代码2控件的兼容性更强；在Java Script代码框中编写代码；单击“获取变量”按钮，将代码中定义的变量添加至字段框。

9、表输出

连接数据库

单击目标表右侧的“浏览”按钮，选择输出的目标表，即维度表dim_time；勾选“指定数据库字段”的复选框，用于将维度表dim_time的字段与JavaScript 控件流中的字段进行匹配。

单击“输入字段映射”按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击“Add”按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击“猜一猜”按钮，让Kettle自动实现映射，如图所示。

三、执行结果

加载员工数据至员工维度表

一、创建转换

二、配置控件

1、表输入

连接数据库

在SQL框中编写SQL语句，用于获取字段staff_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_staff_last_update；单击“预览”按钮，查看临时字段max_dim_staff_last_update是否将默认值设置为“1970-01-01 00:00:00”。