第八章案例2

最新推荐文章于 2022-11-26 17:30:18 发布

揪一口甜咩

最新推荐文章于 2022-11-26 17:30:18 发布

阅读量644

点赞数

文章标签： etl

本文链接：https://blog.csdn.net/qq_48881139/article/details/121251893

版权

本文详细介绍了如何使用Kettle工具加载商店和演员数据至维度表的过程。首先创建转换load_dim_store，通过表输入、映射、数据库查询和维度查询/更新控件，更新商店维度表dim_store。接着创建转换load_dim_actor，利用表输入和插入/更新控件将演员数据插入维度表dim_actor。最后，通过SQLyog工具验证数据已成功加载到对应维度表中。

摘要由CSDN通过智能技术生成

8.3.5 加载商店数据至商店维度表

1.打开Kettle工具，创建转换

使用Kettle工具，创建一个转换load_dim_store，并添加表输入控件、映射控件、数据库查询控件、维度查询/更新控件以及Hop跳连接线，具体如图所示。

2.配置表输入控件

双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示。

在SQL框中编写SQL语句，用于获取字段store_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_store_last_update；单击“预览”按钮，查看临时字段max_dim_store_last_update是否将默认值设置为“1970-01-01 00:00:00” ，如图所示。

3.配置表输入2控件

双击“表输入2”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示。

在SQL框中编写SQL语句，用于获取sakila数据库中store数据表中的最新数据，如图所示。

4.配置映射控件

双击“映射”控件，进入“映射”界面，单击“转换”选项卡处的【Browser】按钮，选择添加转换fetch_address，用于获取用户的地址信息，如图所示。

5.配置数据库查询控件

双击“数据库查询”控件，进入“数据库查询”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

单击表名右侧的【浏览】按钮，添加staff数据表，用于查询商店员工的信息；在“查询所需的关键字”框中，添加查询所需的关键字staff_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即员工姓名，如图所示。

6.配置维度查询/更新控件

双击“维度查询/更新”控件，进入“维度查询/更新”界面，如图所示。

单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示。

单击【浏览】按钮，选择输出的目标表，即维度表dim_store；在“关键字”选项卡处添加关键字字段store_id，用于指定维度表字段和流字段的比较条件；在“字段”选项卡处添加查询/更新字段，用于指定维度表字段store_id和流字段store_id数据一致需要更新的字段，；在“代理关键字段”处的下拉框中选择store_key为代理关键字段，并指定“创建代理键”是使用自增字段；在“Version字段”处的下拉框中选择store_version_number；在“Stream日期字段”处的下拉框中选择last_update；在“开始日期字段”处的下拉框中选择store_valid_from；在“截止日期字段”处的下拉框中选择store_valid_through，如图所示。

指定输出的目标表和添加关键字字段

添加查询/更新字段

指定代理关键、Version、Stream、开始和截止日期字段

7.运行load_dim_store转换

单击转换工作区顶部的运行按钮，运行创建的转换load_dim_store，实现加载商店数据至商店维度表dim_store中，如图所示。

8.查看数据表dim_store中的数据

通过SQLyog工具，查看数据表dim_store是否已成功插入商店数据，查看结果如图所示。

8.3.6加载演员数据至演员维度表

1.打开Kettle工具，创建转换

使用Kettle工具，创建一个转换load_dim_actor，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图所示。

2配置表输入控件

在SQL框中编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_actor_last_update；单击“预览”按钮，查看临时字段max_dim_actor_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图所示。