本文详细介绍了如何使用Kettle工具加载演员和电影数据至维度表的过程。首先，通过创建转换，配置‘表输入’和‘表输入2’控件获取最新数据，然后使用‘插入/更新’控件将数据加载到演员和电影维度表中。在加载电影数据时，还涉及到了‘数据库查询’、‘值映射’、‘列拆分’等多个步骤，以处理电影的多种特性、语言和分类信息。最后，通过‘插入/更新’控件更新电影与演员的关联桥接表。
目录
一、记载演员数据至演员维度表
通过Kettle工具加载演员数据至演员维度表dim_actor。
1.打开kettle工具，创建转换
使用Kettle工具，创建一个转换load_dim_actor，如图所示。
2.配置“表输入”控件
双击“表输入2”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，如图所示。
在SQL框中编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_actor_last_update；单击“预览”按钮，查看临时字段max_dim_actor_last_update是否将默认值设置为“1970-01-01 00:00:00”，如图所示。
3.配置“表输入2”控件
首先连接数据库，数据库连接完成后，在SQL框中编写SQL语句，用于获取数据库sakila中数据表actor中的最新数据，如图所示
4.配置“插入/更新” 控件
双击“插入/更新”控件，进入“插入/更新”界面，配置数据库连接。单击目标表右侧的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标表，即维度表dim_actor。单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里选择的是dim_actor数据表中的actor_id字段和输入流里面的actor_id字段；单击【获取和更新字段】按钮，用来指定需要更新的字段，如图所示。
5.运行转换 load_dim_actor
单击转换工作区顶部的运行按钮，运行创建的转换load_dim_actor，实现加载演员数据至演员维度表dim_actor中，如图所示。
6.查看维度表 dim_actor 中的数据
二、加载电影数据至电影维度表
操作介绍
通过kettle工具加载电影数据至电影维度表dim_film
操作步骤与内容
1.打开kettle工具，创建转换
2.配置“表输入”控件
首先配置数据库连接，配置完成后，在SQL框中编写SQL语句，用于获取字段film_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_film_last_update；单击“预览”按钮，查看临时字段max_dim_film_last_update是否将默认值设置为“1970-01-01 如图所示。
3.配置“表输入2”控件
先配置数据库连接，数据库连接完成后，在SQL框中编写SQL语句，用于获取sakila数据库中film数据表中的最新数据，如图所示。
数据库配置
编写SQL语句
4.配置“数据库查询” 控件
单击表名处的【浏览】按钮，添加数据表language，用于查询电影的语言，在“查询所需的关键字”框中，添加查询所需的关键字字段language_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的字段name，并重命名为language，如图所示。
5.配置“数据库查询2”控件
单击表名处的【浏览】按钮，添加数据表language，用于查询电影原版的语言，在“查询所需的关键字”框中，添加查询所需的关键字字段language_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回字段name并重命名为original_language，并对于电影原版语言为Null值，则可设置默认值为Not Application，如图所示。
6.配置“值映射” 控件
双击“值映射”控件，进入“值映射”界面，在“使用的字段名”处的下拉框选择字段rating，指定对电影级别的字段rating进行映射；在“目标字段名”处添加rating_text字段，用于存储目标值；在“字段值”框中，添加源值和目标值，具体如图所示。
7.配置“列拆分为多行”控件
双击 “列拆分为多行”控件，进入“列拆分为多行”界面，由于special_features字段表示的是电影的特点，而电影的特点有多个，因此要进行拆分；在“要拆分的字段”处的下拉框选择要拆分的字段special_feature；在“分隔符”处指定分隔符；在“新字段名”框中，添加新的字段名，用于存放利用分隔符分割后得数据，如图所示
8.配置“增加常量”
双击“增加常量”控件，进入“增加常量”配置界面，在字段框中添加常量字段Yes和No，并指定值为yes和no，“增加常量”控件的配置，如图所示。
9.配置“列转行”控件
双击“列转行”控件，进入“列转行”界面，在“关键字段”处的下拉框中选择关键字段special_feature，由于字段special_feature中包含一个或多个内容，因此需要对字段special_feature进行列转行操作；在“构成分组的字段”框中添加分组字段；在“目标字段框”中添加目标字段，如图所示。
10.配置“计算器”控件
双击“计算器”控件，进入“计算器”界面，在“字段”处，添加新字段，用于存储将列转行控件流中的字段special_feature字段的NULL值替换成No的数据，如图所示。
11.配置“数据库连接”控件
双击“数据库连接”控件，进入“Database join”界面，配置数据库连接，在SQL框中编写SQL语句，用于根据电影id获取电影的分类；在“The parameters to use”框中，添加编写SQL语句需要的参数，即film_id，计算器控件流中的字段film_id作为参数进行传递，供数据库连接控件使用如图所示。
12.配置“数据库查询3”控件
双击“数据库查询3”控件，进入“数据库查询”界面，配置数据库连接。单击表名处的【浏览】按钮，添加数据表category，用于获取电影分类的id；在“查询所需的关键字”框中，添加查询所需的关键字字段category_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，即name，并重命名为category，如图所示。
13.配置“增加常量2”控件
双击“增加常量2”控件，进入“增加常量”界面，在字段框中添加常量字段Yes，由于在“增加常量”控件中设置的常量Yes已经被替换，所以需要添加一个常量，具体如图所示。
14.配置“列转行2” 控件
双击“列转行2”控件，进入“列转行”界面，在“关键字段”处的下拉框中选择关键字段category，根据电影分类的名称对电影进行分类；在“构成分组的字段”框中添加分组字段，在“目标字段框”中添加目标字段，具体如图所示。
15.配置“计算器2” 控件
双击“计算器2”控件，进入“计算器”界面，在“字段”处，添加新字段，用于将列转行2控件流中字段category中的NULL值替换成No，如图所示。
16.配置“联合查询/更新”控件
双击“联合查询/更新”控件，进入“联合查询/更新”界面，配置数据库连接。单击目标表右侧的【浏览】按钮，选择目标表，即维度表dim_film，用于加载最新的电影维度数据，在“关键字段”框中添加维度字段和流里的字段，并在“代理关键字”框中添加代理关键字段，并指定创建代理键为自增字段，如图所示
17.配置“数据库连接2”控件
双击“数据库连接2”控件，进入“Database join”界面；配置数据库连接。在SQL框中编写SQL语句，用于根据电影id获取演员的id，从而获取演员的基本信息；在“The parameters to use”框中，添加需要的参数，即film_id，如图所示。
18.配置“数据库查询4”控件
双击“数据库查询4”控件，进入“数据库查询”界面，配置数据库连接。单击表名处的【浏览】按钮，添加数据表dim_actor，用于获取演员的基本信息；在“查询所需的关键字”框中，添加查询所需的关键字字段actor_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中，添加查询表返回的值，如图所示。
19.配置“分组”控件
双击“分组”控件，进入“分组”界面，在“构成分组的字段”框中添加分组字段film_key，对“数据库查询4”控件流中的数据按字段film_key进行分组；在“聚合”框中添加聚合字段count_actors，用于统计出演某部电影的演员个数，分组控件的配置如图所示。
20.配置“计算器3”控件
双击“计算器3”控件，进入“计算器”界面，在“字段”处，添加新字段one和actor_weighting_factor，其中字段one为自定义的常量，指定值为1，是一个临时值，可移除；字段actor_weighting_factor用于存储演员的权重因子，如图所示。
21.配置“流查询” 控件
双击“流查询”控件，进入“流里的值查询”界面，在“Lookup step”处的下拉框选择要查询的流，即计算器3控件流；在“查询值所需的关键字”处，添加用于查询流里值的字段，即film_key，通过使用数据库查询4控件中的字段film_key去计算器3控件流中匹配相应的数据；在“指定用来接收的字段”框中，添加用来接收值的字段actor_weighting_factor，最终输出，流查询控件的配置，如图所示。
22.配置“插入/更新”控件
双击“插入/更新”控件，进入“插入/更新”界面，配置数据库连接。单击目标表右侧的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标表，即维度表dim_film_actor_bridge；单击【获取字段】按钮，用来指定查询数据所需要的关键字；单击【获取和更新字段】按钮，用来指定需要更新的字段。插入/更新控件用于通过比较流与表中字段得数据，更新维度表dim_film_actor_bridge表中数据。插入/更新控件的配置如图所示。
23.运行转换load_dim_film
单击转换工作区顶部的运行按钮，运行创建的转换load_dim_film，实现加载电影数据至电影维度表dim_film，如图所示。
24.查看维度表 dim_film和dim_film_actor_bridge中的数据。
通过SQLyog工具，查看数据表dim_film和数据表dim_film_actor_bridge是否已成功插入数据，查看结果如图所示（展示部分数据）。
扫一扫
963
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
