数据清洗 第八章

一、加载日期数据至日期维度表

1.打开Kettle工具创建转换，并添加“生成记录”控件、“增加序列”控件、“JavaScript代码”控件、“表输出”控件以及Hop跳连接线。

 2.配置“生成记录控件”，双击生成记录界面，在“限制”处添加生成的日期，修改为3650；在“字段”框添加字段language，country_code，initial_date，对生成的日期进行初始化。

3.配置“增加序列”控价，进入“增加序列”界面。

 4.增加“JavaScript代码”控件，双击“JavaScript代码”控件，进入“JavaScript代码”界面。并勾选兼容模式候选框。

点击获取变量按钮。

 5.配置“表输出”控件，进行数据库连接，配置完成后单击“确认”按钮，单击目标表右侧的“浏览”按钮，选择输出目标表，即dim_date；勾选“指定数据库”字段，用于将维度表字段与JavaScript控件流中的变量字段进行连接。单击“数据库字段”选项卡界面，在该界面下单击“输入字段映射”按钮，弹出“映射匹配”对话框。

 

 

 6.运行转换load_dim_date

 7.查看维度表dim_date中的数据

二、加载时间数据到时间维度表

1.打开Kettle工具创建load_dim_time，并添加“生成记录”控件，“增加序列”控件，JavaScript代码控件，“记录关联”控件，“表输出”控件，以及Hop跳连接线。

 2.配置“生成记录”控件，双击“生成记录”控件，进入“生成记录”界面，在“限制”后的文本框中添加24；在字段框中添加生成字段名称，字段类型。

 3.配置“增加序列”控件
双击“增加序列”控件，进入“增加序列”界面，在“值的名称”处将valuename改为hours24，即增加一列小时字段，在起始后的文本框内奖默认值1修改为0。

 4.配置“JavaScript代码”控件
双击“JavaScript代码”控件，进入“JavaScript代码”界面，勾选“兼容模式？”复选框，在JavaScript代码框中编写代码，单击“获取变量”按钮，将代码中定义的变量添加至字段框。

5.配置生成记录2控件，双击“生成记录2”控件，进入“生成记录2”界面，在“限制”后的文本框加入60表示生成60个数据，在“字段”框中添加生成字段的名称、字段类型及默认值0.

6.配置“增加序列2”控件，双击“增加序列2”控件，进入“增加序列”界面，将“值的名称”处的valuename改为minutes。

 7.配置生成记录控件
双击生成记录3控件，进入“生成记录”界面，在“限制”后的文本框添加60表示生成60条数据，在“字段”框添加生成字段名称，字段类型默认为0。

 

8.配置“增加序列3”控件，进入“增加序列”界面，将“值的名称”处的valuename改为seconds，即增加一秒字段，用于记录秒数。

9.配置“JavaScript代码2”控件

 10.配置表输出控件，双击“表输出”控件，进入表输出界面，单击“新建”按钮，配置数据库连接。

 

 

 

 11.运行load_dim_time

 12.查看维度表dim_time中的数据

 

三、加载员工数据至员工维度表

1.打开Kettle工具创建转换load_dim_staff，并添加“表输入”控件、“字段选择”控件、“值映射”控件，“维度查询/更新”控件以及Hop跳连接线。

 2.配置“表输出”控件

 

 在SQL框中编写SQL语句

 4.配置“字段选择”控件

 

5.配置“值映射”控件，在“使用字段名”后的下拉列表中选择字段active；在“字段框”中添加源值和目标值，这里将替换为Yes，将N替换为No

 6.配置“维度查询/更新”控件，进入“维度查询/更新”界面。

 7.运行转换load_dim_staff