数据清洗第八章（学习笔记）

一、加载日期数据至日期维度表

1.打开kettle创建转换，添加“生成记录”，“增加序列”，“JavaScript代码”，“表输出”：

2.配置“生成记录”控件。双击进入控件的配置，按下图配置： 

3.配置“增加序列”，双击进入该控件进行配置。“值的名称”处改为DaySequenc。“起始值”改为0，如图所示：

4.双击进入“JavaScrip代码”，勾选“兼容模式？”，输入相应代码：

点击“获取变量”：

 5.双击进入“表输出” 控件。先连接数据库然后选择输出的表，然后输入映射匹配，具体如下图所示：

 

6.运行转换；

 打开SQLyog查看表中是否写入数据：

 数据已成功写入。

二、加载时间数据至时间维度表。

1.打开kettle创建一个新的转换，按下图输入以下控件并建立连接：

1.双击进入“生成记录”空间的配置。“限制处”输入24.并按下图输入字段。

3.双击进入“增加序列”的配置。按下图配置。

4.双击进入“JavaScrip代码”的配置，勾选“是否兼容？”。按下图输入代码。再点击“获取变量”。

5.双击进入“生成记录2”的配置。按下图配置：

6.双击进入“增加序列2”的配置。按下图配置：

 7.双击进入“生成记录3”的配置。限制处输入60，字段处输入以下字段及属性。

8.双击进入“增加序列3”，按下图配置，起始值处输入0。

9.双击进入“JavaScrip代码”的配置。勾选“是否兼容？”。输入以下代码。

10.双击进入“表输出”的配置。先进行数据库的配置，再选择输出的表，最后进行“字段映射匹配”。

11.运行该转换。

12 .打开SQLyog查看输出的表是否正确。三、加载员工数据至员工维度表。

1.新建转换并命名，拖入以下控件。

2.双击进入“表输入”控件的配置。连接数据库并输入sql语句。 

点击“预览数据”：

 

 3.双击进入“表输入2”控件的配置。与上述方法相同。

4.双击进入字段选择。按下图配置。

5.双击进入“值映射”的配置。按下图配置。

6.双击进入“维度查询更新”配置，按下图配置。

7、运行此转换。

通过SQLyog查看数据表dim_staff: