数据清洗第五章—文件的去重与填充

最新推荐文章于 2024-06-15 22:46:02 发布

兰州李大头

最新推荐文章于 2024-06-15 22:46:02 发布

阅读量515

点赞数

分类专栏：数据清洗文章标签： sql 数据库大数据 etl

本文链接：https://blog.csdn.net/m0_47951947/article/details/120828734

版权

数据清洗专栏收录该内容

7 篇文章 0 订阅

订阅专栏

一、对文件merge.csv进行完全去重

1、打开Kettle工具，新建转换

2、配置“CSV文件输入”控件，进入“CSV文件输入”界面

3、配置“唯一行（哈希值）”控件

4、运行转换repeat_transform

二、对文件people_survey.txt中的缺失值进行填充。

8、运行转换fill missing. value

一、对文件merge.csv进行完全去重

1、打开Kettle工具，新建转换

使用Kettle工具创建转换repeat. transform, 并添加“CSV文件输人”控件、“唯一行(哈希值)”控件以及Hop 跳连接线

2、配置“CSV文件输入”控件，进入“CSV文件输入”界面

双击“CSV文件输入”控件，进入“CSV文件输入”界面

单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv

单击“获取字段”按钮Kettle会自动检索CSV文件，并对文件中的字型、格式、长度精度等属性进行分析

单击"预览”按钮，查看CSV文件merge. csv的数据是否加载到CSV文件输入流中

CSV文件merge. csv的数据已经成功抽取到csv文件输入流中，单击“关闭”“确定”按钮，完成“CSV文件输入”控件的配置

3、配置“唯一行（哈希值）”控件

双击“唯一行(哈希值)”控件，进入“唯一行(哈希值)”界面

在“用来比较的字段"处添加要去重的字段,这里可以单击“获取”按钮，添加需要去重的字段

4、运行转换repeat_transform

单击转换工作区顶部的“运行”按钮，运行创建的转换repeat_transform，实现消除CSV文件merge.csv中完全重复的数据

从执行结果窗口的“步骤度量”选项卡可以看出，“CSV文件输人”控件输人10条数据并写入该控件9条数据(其中有1条数据为表头)；“唯行(哈希值)”控件从“CSV文件输人”控件读取9条数据，写人该控件7条数据,拒绝2条数据(这2条数据为完全重复数据)。也就是说,CSV文件merge. csv中有2条数据与其他数据完成重复

选中“唯一行(哈希值)”控件，单击执行结果窗口的Preview data选项卡，查看是否消除CSV文件merge. csv中完全重复的数据

CSV文件merge. csv中的数据已经没有了完全重复的值，说明通过Kettle工具实现了消除完全重复数据的功能

二、对文件people_survey.txt中的缺失值进行填充。

1、打开Kettle工具,创建转换

使用Kettle工具创建转换fill_missing_value, 并添加“文本文件输人”控件、“过滤记录”控件。“空操作(什么也不做)”控件、“替换NULL值"控件、“合并记录”控件、“字段选择"控并以及Hop跳连接线

2、配置“文本文件输入"控件

双击“文本文件输人”控件，进入“文本文件输人”界面，单击“浏览"按钮，选择要填充缺失值的文件people_survey.txt

单击“增加”按钮，将要填充缺失值的文件people_ survey. txt添加到“文本文件输人”控件中

单击“内容"选项卡，切换到“内容”选项卡界面

清除分隔符处的默认分隔符“；”，单击Insert TAB按钮，在分隔符处插人一个制表符：取消勾选“头部”复选框，若不取消，则在进行数据抽取操作时会排除文件第一行的数据

单击“字段”选项卡，切换到“字段”选项卡界面

根据文件people_survey.txt的内容添加对应的字段名称，并指定数据类型。需要注意的是,制表符可看作是由多个空格组成,因此在“去除空字符串方式”列时，所添加的字段都应选择“不去掉空格”，否则在抽取数据操作时会把制表符当作空格去除，而不能把制表符作为分隔符实现文本文件内容的分隔

单击“预览记录”按钮，查看文件people_ survey. txt的数据是否成功抽取到文本文件输人流中

文件people_ survey. txt的数据已经成功抽取到文本文件输人流中，单击“关闭”一“确定”按钮，完成“文本文件输人”控件的配置

3、配置“过滤记录”控件

将字段workclass同为Private 值的字段hours_per_week 值相加求均值，并用该均值对字段userid中值为000016的hours_per_week字段存在的缺失值进行填充

双击“过滤记录”控件，进入“过滤记录”界面

在“条件”处设置过滤的条件，由于字段userid 为00016用户的hours.per_week(即每周工作时间字段)存在缺失值，而它的workclass字段值为Private，因此可以将过滤字段设置为workclass 、过滤值设置为Private 作为过滤条件

“发送true 数据给步骤：”下拉列表中选择“空操作(什么也不做)”，将workclass字段值为Private的数据放在“空操作”控件中;在“发送false 数据给步骤： "后的下拉列表中选择“空操作(什么也不做)2”，将workclass字段值不为Private 的数据放在“空操作（什么也不做）2”控件中

单击“确定”按钮，完成“过滤记录”控件的配置

4、配置“替换NULL值”控件

双击图中进入替换NULL值”控件，进入“替换NULL值”界面

勾选“选择字段”复选框，并在“字段”框添加字段hours_ per_ week,值替换为44(44是字段为hours_ per week中所有值相加求的均值,这里指用44替换字段hours_per. week中的 NULL值)

单击“确定”按钮，完成“替换NULL值"控件的配置。

5、配置“合并记录"控件

双击“合并记录”控件，进入“合并行(比较)”界面

在“旧数据源：”后的下拉列表中选择替换NULL值”，在“新数据源: "E的下拉列表中选择“空操作(什么也不做)2”；在“匹配的关键字：”部分添加关键字段日userid

“合并记录”控件主要是将两个数据源(旧数据源、新数据源)进行合并，标志字段主要是将每条数据进行标记，新数据源的数据会标记为new，旧数据源的数据会标记为deleted，若新、旧数据源中存在相同的关键字段设置的数据，则两个数据源进行合并后，只会保存从新数据源中获取的数据获取的数据，并以identical进行标记

单击“确定”按钮，完成“合并记录”控件的配置

6、配置“替换NULL值2”控件

双击“替换NULL值2”控件，进入“替换NULL值2”界面

勾选“选择字段"复选框，并在“字段”框添加字段为workclass, 值替换为Private(这里用Private替换字段workclass中的NULL值)

7、配置“字段选择”控件

双击“字段选择”控件，进入“选择/改名值”界面

在“移除”选项卡界面中添加要移除的字段名称，这里移除的是字段flagfield

单击“确定”按钮，完成“字段选择”控件的配置

8、运行转换fill missing. value

单击转换工作区顶部的D按钮，运行创建的转换fll_ missing. value, 实现填充文件people_ survey. txt中的缺失值

从执行结果窗口的“步骤度量”选项卡可以看出，“文本文件输入”控件输入21条数据并写入该控件;“过滤记录”控件读取“文本文件输人’控件中的21条数据并写人访出件“空操作(什么也不做)”控件读取符合过滤要求的15条数据并写人该控件；“空操作(A 么也不做)2”控件读取不符合过滤要求的6条数据并写人该控件；“替换NULL值”控件液取“空操作”控件中的15条数据进行空值替换操作并写人该控件;“合并记录”控件读取“替换NULL值”控件和“空操作(什么也不做)2”控件共21条数据并写人该控件；“替换NULL 值2”控件读取“合并记录”中的21条数据进行空值替换操作并写人该控件；“字段选择"控件读取“替换NULL值2”控件中的21条数据并写入该控件。