《数据清洗》——黑马程序员综合案例

目录

  一、加载日期数据至日期维度表

1.打开Kettle工具，创建转换

 2.配置【生成记录】控件

 3.配置【增加序列】控件

 4.配置【JavaScript 代码】控件

 5.配置【表输出】控件

 6.运行转换 load_dim_data

7.查看维度表 dim_data中的数据

二、加载时间数据至时间维度表 

1.打开kettle工具，创建转换

 2.配置“生成记录”控件

3.配置“增加序列” 控件

4. 配置JavaScript代码控件  

 5.配置“生成记录2”控件

6.配置“增加序列2” 控件

7.配置“生成记录3”控件

 9.配置“JavaScript代码2”控件

10.配置“表输出”控件

 11.运行转换load_dim_time

12.查看维度表 dim_time的数据

三、加载员工数据至员工维度表

1.打开Kettle工具，创建转换

 2.配置“表输入”控件

 3.配置“表输入2”控件

 4.配置“字段选择”控件

5.配置“值映射” 控件

 6.配置“维度查询/更新”控件

7.运行转换 load_dim_staff

---

  一、加载日期数据至日期维度表

下面通过Kettle工具加载日期数据至日期维度表dim_data,具体实现步骤如下。

1.打开Kettle工具，创建转换

  创建转换load_dim_data如图所示

 2.配置【生成记录】控件

  配置结果如下图所示

 3.配置【增加序列】控件

  将图“值的名称”处将valuename 改为DaySequence,即增加一列日期字段，用于改变“生成记录”控件生成的日期。

 4.配置【JavaScript 代码】控件

  双击“JavaScript”控件，进入“JavaScript”配置界面，勾选“兼容模式？”处的复选框，使得JavaScript代码控件的兼容性更强；在Java Script代码框中编写代码（代码见教材）。

单击【获取变量】按钮，将代码中定义的变量添加至字段框中，“JavaScript代码”控件的具体配置效果如图所示，单击【确定】按钮，完成“JavaScript代码”控件的配置。

“JavaScript 代码” 控件的配件

 5.配置【表输出】控件

  双击“表输出”控件，进入“表输出”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。  

   单击目标表右侧的【浏览】按钮，选择输出的目标表，即维度表dim_date；勾选“指定数据库字段”的复选框，用于将维度表字段与JavaScript控件流中的变量字段进行匹配，单击【输入字段映射】按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击【猜一猜】按钮，让Kettle自动实现映射，具体如图所示。

 单击映射匹配对话框的【确定】按钮，“表输出”界面最终显示的效果如图所示，单击【确定】按钮，完成“表输出”控件的配置。

 6.运行转换 load_dim_data

  单击转换工作区顶部的运行按钮，运行创建的转换load_dim_date，实现加载日期数据至日期维度表dim_date中。

7.查看维度表 dim_data中的数据

 通过SQLyog工具，查看数据表dim_date是否已成功插入3650条日期数据，查看结果如图所示(部分结果）

二、加载时间数据至时间维度表 

通过Kettle工具加载时间数据至日期维度表dim_time。

1.打开kettle工具，创建转换

    效果如下图所示

 2.配置“生成记录”控件

  双击“生成记录”控件，进入“生成记录”配置界面，在“限制”处添加生成的时间，这里添加的是生成24小时数据&