《数据清洗》第八章综合案例（一）

8.3.2 加载日期数据至日期维度表

1、打开kettle工具，创建转换

、2、配置“生成记录”控件

双击生成记录界面，在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年日期（10*365）；在“字段”框添加字段language（语言），country_code（国家码），initial_date（初始化日期），对生成的日期进行初始化，如图

点击“确定”完成配置

3、配置“增加序列”控件

在“值的名称”处valuename改为DaySequence，即增加一列日期字段，用于改变“生成记录”控件生成的日期

 单击“确定”完成配置

4、配置“JavaScript代码”控件

进入界面后勾选“兼容模式？”复选框，使得此控件的兼容性更强，在代码框中编写代码，单击“获取变量”按钮，将代码中定义的变量添加值字段框中，如图所示

单击“确定”按钮完成配置

5、配置“表输出”控件

进入界面后单击“新建”按钮配置数据库连接，配置完成后单击“确定”按钮

单击目标表右侧的“浏览”按钮，选择输出目标表，即维度表dim_date；勾选“指定数据库”字段，用于将维度表字段与JavaScript控件流中的变量字段进行连接。单击“数据库字段”选项卡界面，在该界面下单击“输入字段映射”按钮，弹出“映射匹配”对话框

6、运行转换 

7、查看数据

8.3.3 加载时间数据至时间维度表

1、打开kettle工具，创建转换

2、配置“生成记录”控件 

进入“生成记录”界面，在“限制”后的文本框中添加24表示生成24条数据；在字段框中添加生成字段名称，字段类型以及默认值0，如图所示

 3、配置“增加序列”控件

进入“增加序列”界面，在“值的名称”处将valuename改为hours24，即增加一列小时字段，在起始后的文本框内奖默认值1修改为0，代表从0开始生成24条数据，即生成0~23。由于时间由时分秒构成，因此生成时分秒字段的数据，这里先生成24小时数据，后续步骤中会生成60分和60秒的数据，如图

 单击“确定”按钮完成配置

4、配置“JavaScript代码”控件

进入“JavaScript代码”界面，勾选“兼容模式？”复选框，使得“JavaScript代码”控件的兼容性更强，在JavaScript代码框中编写代码，单击“获取变量”按钮，将代码中定义的变量添加至字段框。

单击“确定”完成配置

5、配置“生成记录2”控件 

进入“生成记录2”界面，在“限制”后的文本框加入60表示生成60个数据，在“字段”框中添加生成字段的名称、字段类型及默认值0。

单击“确定”按钮完成配置

6、配置“增加序列2”控件

 进入“增加序列”界面，将“值的名称”处的valuename改为minutes，即增加一列分钟字段，用于记录分钟数，在起始值文本框将默认值从1改为0。

 单击“确定”按钮完成配置

7、配置“生成记录3”控件

进入“生成记录”界面，在“限制”后的文本框添加60表示生成60条数据，在“字段”框添加生成字段名称，字段类型默认为0。

单击“确定”完成配置

8、配置“增加序列3”控件

进入“增加序列”界面，将“值的名称”处的valuename改为seconds，即增加一秒字段，用于记录秒数。

单击“确定”完成配置

9、配置“JavaScript代码2”控件

进入该界面，勾选“兼容模式？”复选框，使得“JavaScript代码2”控件兼容性更强，在JavaScript代码框中编写代码，单击“获取变量”按钮，将代码中定义的变量添加值字段框中。

 单击“确定”按钮，完成配置

10、配置“表输出”控件

进入表输出界面，单击“新建”按钮，配置数据库连接。

单击浏览按钮，选择输出的目标表，即维度表dim_time；勾选“指定数据库候选框”，用于将维度表dim_time字段与JavaScript控件流中的字段进行匹配，单击“数据库字段”选项卡，切换到“数据库字段”选项卡界面，并在该界面下单击“输入字段映射”按钮，弹出“映射匹配”对话框。依次选中“源代码”字段中的和目标字段中的字段，再单击Add按钮，将一对映射字段添加至“映射”框中，点击“猜一猜”按钮。

11、运行转换 

12、查看数据表 

8.3.4 加载员工数据至员工维度表

1、打开kettle工具，创建转换

 2、配置“表输入”控件

进入“表输入”控件，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮，如图所示。

在SQL框中编写SQL语句，用于获取字段staff_last_update中的最大值，将该值替换成1970-01-01 00:00:00并赋值给临时字段max_dim_staff_last_update，单击“预览”按钮，查看临时字段max_dim_staff_last_update，是否将默认值设置为1970-01-01 00:00:00。

单击“关闭”→“确定”完成“表输入”控件

3、配置“表输入2”控件

进入“表输入”界面，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮

在SQL框中编写SQL语句，用于获取数据库最新数据

单击“确定”按钮完成配置

4、配置“字段选择”控件 

进入“选择/改名值”界面，在“元数据”选项卡的“需要改变源数据的字段”处添加字段active，由于维度表dim_staff中字段active的数据类型为char类型，因此需要将数据表staff中字段active的数据类型改为String。

单击“确定”按钮完成配置

5、配置“值映射”控件

 进入值映射界面，在“使用字段名”后的下拉列表中选择字段active；在“字段框”中添加源值和目标值，这里将替换为Yes，将N替换为No。

单击“确定”完成配置

6、配置“维度查询/更新”控件

进入“维度查询/更新”界面，单击“新建”按钮，配置数据库连接

 单击右侧浏览选择目标表，选择输出的目标表，即维度表dim_staff；在“关键字”选项卡处添加关键字字段staff_id，用于指定维度表的字段和“值映射”控件流中的字段的比较条件，若维度表中的数据有更新，则通过字段选项卡处添加查询/更新字段，用于更新目标维度表的字段数据，在“代理关键字”下拉列表选择staff_key，并指定“创建代理键”为使用自增字段，在“Version字段”后的下拉列表中选择staff_version_number；在“Stream日期字段”后的下拉列表中选择last_update；在“开始日期字段”后的下拉列表中选择staff_vaild_from。

 单击“确定”按钮完成配置

7、运行转换

8、查看表数据