kettle工具实现数据清洗

一、Excel的输入

1.将要处理的文件保存到Excel表中，然后打开kettle创建一个转换并命名，拖入“Excel输入”控件。

 2.配置Excel表控件

 

 

 

二、生成记录

1.新建转换，打开“生成记录”控件。

 2.限制处输入记录内容。

3.运行并查看和数据

 三、生成随机数

1.新建一个转换，并拖出“生成随机数”控件。

 

 2.配置控件

 

 3.批量生成随机数

4. 进入“生成记录”空间配置

 5.配置“生成随机数”

 6.“Excel输出”配置

 

7.运行并查看数据

 

 四、获取系统信息

1.创建一个新的转换，，拖入“获取系统信息”控件

 2.配置“获取系统信息”

 3.运行并查看

五、排序记录 

1.创建一个转换并命名。拖入“Excel输入”控件和“排序记录”控件

 2.配制“Excel”控件。

 3.配制“排序记录”控件。使用数学成绩升序。

4.运行并查看结果 

六、去除重复纪录

1·创建新的转换，托入“Excel”控件，“排序记录”控件以及“去除重复纪录控件

2.双击进入“Excel输入”控件进行配置

 3.双击进入“排序记录”进行配置

4.配置“去除重复纪录”控件 

5.运行并查看结果 

七、替换null值 

 1.新建一个转换。拖入“Excel输入”“和替换NULL值”控件

 2.配制“Excel输入”控件 

 3.配置“替换NULL值”控件 

4.运行并查看结果