《数据清洗》 第八章 综合案例（8.3.7-8.3.8）

目录

1.加载演员数据至演员维度表

1.1打开kettle工具，创建转换

1.2配置“表输入”控件

1.3配置“表输入2”控件

1.4配置“插入/更新”控件

1.5运行转换load_dim_actor

1.6查看维度表dim_actor中的数据

2.加载电影数据至电影维度表

2.1打开kettle工具，创建转换

2.2配置“表输入”控件

2.3配置“表输入2”控件

2.4配置“数据库查询”控件

2.5配置“数据库查询2”控件

2.6配置“值映射”控件

2.7配置“列拆分为多行”控件

2.8配置“增加常量”控件

2.9配置“列转行”控件

2.10配置“计算器”控件

2.11配置“数据库连接”控件

2.12配置“数据库查询3”控件

2.13配置“增加常量2”控件

2.14配置“列转行2”控件

2.15配置“计算器2”控件

2.16配置“联合查询/更新”控件

2.17配置“数据库连接2”控件

2.18配置“数据库查询4”控件

2.19配置“分组”控件

2.20配置“计算器3”控件

2.21配置“流查询”控件

2.22配置“插入/更新”控件

2.23运行转换load_dim_film

2.24查看维度表dim_film和dim_film_actor_bridge中的数据

---

1.加载演员数据至演员维度表

1.1打开kettle工具，创建转换

创建转换load_dim_actor，并添加“表输入”控件、“插入/更新”控件以及Hop跳连接线

1.2配置“表输入”控件

点击“表输入”控件，进入“表输入”界面，，单击新建按钮，配置数据库连接，配置完成后单击“确认”按钮

在SQL框中编辑SQL语句，而后单击“预览”按钮

1.3配置“表输入2”控件

点击“表输入2”控件，进入“表输入”界面，，单击新建按钮，配置数据库连接，配置完成后单击“确认”按钮

在SQL框中编辑SQL语句，而后单击“预览”按钮

1.4配置“插入/更新”控件

双击“插入/更新”控件，进入“插入/更新”界面，点击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮

单击目标表右侧“浏览”按钮，弹出“数据库浏览器”窗口，选择目标表，即维度表dim_actor中的actor_id字段的输出流里的actor_id字段，单击“获取和更新字段”按钮，指定更新较新的字段

1.5运行转换load_dim_actor

1.6查看维度表dim_actor中的数据

---

2.加载电影数据至电影维度表

2.1打开kettle工具，创建转换

创建转换load_dim_film，并添加“表输入”控件，“数据库查询”控件，“值映射”控件，“列拆分为多行”控件，“增加常量”控件，“列转行”控件，“计算机”控价，“数据库连接”控件，“联合/查询更新”控件，“分组”控件，“流查询”控件，“插入/更新”控件，以及Hop跳连接线

2.2配置“表输入”控件

双击表输入控件，点击新建按钮，配置数据库连接

在SQL框中写SQL语句，单击“预览”按钮查看

2.3配置“表输入2”控件

双击表输入2控件，点击新建按钮，配置数据库连接

在SQL框中写SQL语句，单击“预览”按钮查看

2.4配置“数据库查询”控件

双击“数据库查询”控件，进入“数据库查询”界面，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮

2.5配置“数据库查询2”控件

双击“数据库查询2”控件，进入数据库查询界面，单击“新建”按钮，配置数据库连接

2.6配置“值映射”控件

双击“值映射”控件，进入“值映射”界面，在“使用的字段名”后的下拉列表中选择字段rating进行映射；在“目标字段名（空=覆盖）”处添加rating_text字段，用于存储目标值，在“字段值”框中添加源值和目标值，其中源值为G，PG，PG-13，R，NC-17

2.7配置“列拆分为多行”控件

双击图中“列拆分为多行”控件，进入“列拆分为多行”界面，由于special_feature字段表示的是电影的特点，而电影的特点有很多个，因此要进行拆分；在“需要拆分的字段”后的下拉列表中选择要拆分的字段special_feature；在“分隔符”处指定分隔符“，”；在“新字段名”框中添加新的字段名，用于存放利用分隔符分隔后的数据

2.8配置“增加常量”控件

双击“增加常量”控件，进入“增加常量”界面，在“字段框”中添加常量字段Yes和No，并指定值为Yes和No，用于后续判断某电影是否有预告片，是否有评论，是否删减片段以及是否有幕后等内容

2.9配置“列转行”控件

双击“列转换”控件，进入“列转换”界面，在“关键字段”下拉列表中选择关键字段special_feature，由于字段special_feature中包含一个或多个内容，因此需要对字段special_feature，进行行转换操作，在“构成分组的字段”框中添加分组字段，在“目标字段”框中添加目标字段

2.10配置“计算器”控件

双击“计算器”控件，进入“计算器”界面，在“字段”处添加新字段，用于存储将“列转行”控价流中的字段special_feature的NULL值替换为No的数据

2.11配置“数据库连接”控件

双击“数据库连接”控件，进入Database join界面，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮

在SQL框中编写SQL语句，用于根据电影id获取电影的分类，parameters to use框中添加编写SQL语句需要的参数，即film_id，“计算器”控件流中的字段film_id作为参数进行传递，供“数据库连接”控件使用

2.12配置“数据库查询3”控件

双击数据库查询3控件，进入数据库查询3界面

2.13配置“增加常量2”控件

进入“增加常量”界面，在“字段”框中添加常量字段Yes，由于“增加常量”控件中设置的常量Yes已经被替换，所以需要添加一个常量

2.14配置“列转行2”控件

双击“列转行2”控件，进入“列转行”界面，在“关键字段”后的下拉列表中选择关键字段category，根据电影分类的名称对电影进行分类，在“构成分组的字段”框中添加分组字段，在目标字段框中添加目标字段

2.15配置“计算器2”控件

双击图中“计算器”控件，进入“计算器”界面，在“字段”处添加新字段，用于将“列转行2”控件流中的字段category中的NULL值替换成No

2.16配置“联合查询/更新”控件

双击“联合查询/更新”控件，进入“联合查询/更新”界面，单击新建按钮，配置数据库连接，配置完成后单击“确认”按钮，目标表右侧的“浏览”按钮，选择目标表，即维度表dim_film，用于加载最新的电影维度数据，在“代理关键字”框中添加代理关键字段，并指定创建代理键为自增字符

2.17配置“数据库连接2”控件

双击图中“数据库连接2”控件，进入Database join界面，在SQL框中编写SQL语句，用于根据电影id获取演员的id，从而获取演员的基本信息，在The parameters to use框中添加需要的参数，即film_id

2.18配置“数据库查询4”控件

双击“数据库查询4”控件，进入“数据库查询”界面，单击“新建”按钮，配置数据库连接，配置完成后单击确认按钮

单击表名厚度“浏览”按钮，添加维度表dim_actor，用于获取演员的基本信息，在“查询所需关键字字段actor_id”，用于指定表字段与流字段的比较条件，在“查询表返回的值”框中添加查询表返回的值

2.19配置“分组”控件

双击图中的“分组”控件，进入“分组”界面，在“构成分组的字段框中添加分组字段film_key，对“数据库查询4”控件流中的数据字段film_key进行分许，在聚合框中添加聚合字段count_actors，用于统计出演某部电影的演员个数

2.20配置“计算器3”控件

双击图中“计算器3”控件，进入“计算器”界面，在“字段”处添加新字段one和actor_weight_factor，其中字段one为自定义的常量，指定值为1，是一个临时值，可移除。字段actor_weight_factor用于存储演员的权重因子

2.21配置“流查询”控件

双击“流查询”控件，进入“流里的值查询”界面，在Lookup step后的下拉列表选择要查询的流，即“计算器3”控件流，在“查询值所需的关键字”处添加用于查询流里值的字段，即film_key去“计算器3”控件流中匹配相应的数据，在“指定用来接收的字段”框中添加用来接收值的字段actor_weight_factor

2.22配置“插入/更新”控件

双击图中“插入/更新”控价，进入“插入/更新”界面，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮

单击目标表右侧的“浏览”按钮，弹出“数据库浏览器”窗口，选择目标表，即维度表dim_film_actor_bridge；单击“获取字段”按钮，用于查询数据需要的关键字。单击“获取字段”和“更新字段”按钮，用来指定需要更新的数据，更新维度表dim_film_actor_bridge中的数据

2.23运行转换load_dim_film

2.24查看维度表dim_film和dim_film_actor_bridge中的数据

dim_film:

 dim_film_actor_bridge：