第五章 Kettle数据的清洗与检验

目录

一.数据去重     

二.完全去重

        1.打开kettle工具新建转换

        2.配置"csv文件输入"控件

        3.配置"唯一行(哈希值)"控件

        4.保存运行

三.缺失值填充

        1.建立以下控件

        2.配置文件输入控件

        3.配置"过滤记录控件"

        4.配置"替换NULL值控件"

        5.配置"合并记录"控件

        6.配置"替换NULL值2"控件

        7.配置"字段选择"控件

        8.保存运行

---

一.数据去重     

         数据去重又称重复数据的删除，通常指的是找出数据文件集合中重复的数据并将其除，只保存唯一的数据单元，从而消除冗余数据。通常，数据去重方法分为两种，分别是完全去重和不完全去重。
        完全去重指的是消除完全重复的数据,这里提到的完全重复数据指的是数据表记录字段值完全一样的数据。

二.完全去重

        1.打开kettle工具新建转换

        

        2.配置"csv文件输入"控件

         （1）点击浏览添加去重的文件

         （2）选择包含列头行（注：如果选择简易转换可能会导致去重失败）

              

            

           （3）点击下方获取字段，自动检索csv文件，并对字段类型等自动进行分析

                                   

            （4）点击确定

        3.配置"唯一行(哈希值)"控件

           （1）点击下方获取，自动获取字段

              

              

         （2）点击确定

        4.保存运行

           结果展示：

              

三.缺失值填充

        1.建立以下控件

              

        2.配置文件输入控件

            （1）点击进入控件，浏览要处理的文件并点击增加

     

            （2）浏览处理记录查看缺失值

             

            （3）点击内容选项进行如下设置

                   删除分隔符中的分号，点击右侧insert TAB添加制表符作为分割符

                

             （4）点击字段选项，获取字段

               

             （5）点击确定

         3.配置"过滤记录控件"

            （1）点击进入控件，添加过滤条件

                  在浏览数据时我们看到，16号的hours_per_week存在缺失值，而workclass为Private,

              所以我们可以将过滤字段设置为workclass，如下图：

                    

            （2）将workclass=Private的字段发送给空操作（什么也不做），不等于的发送给空操作

                    （什么也不做）2。

            （3）点击确定

        4.配置"替换NULL值控件"

            在下方字段中添加hours_per_week,值替换为44。

            

        5.配置"合并记录"控件

            这一步主要是将新旧记录进行合并

             

        6.配置"替换NULL值2"控件

            

        7.配置"字段选择"控件

            

        8.保存运行

            运行结果：