第五章 数据清洗与校验

案例一

通过Kettle工具，消除CSV文件merge.csv中完全重复的数据

转换

配置csv文件输入组件输入数据

唯一行组件配置 

 运行转换，查看结果 

 案例二

通过Kettle工具，将文件people.txt中不完全重复的数据进行去重处理

转换

文本文件输入配置 

 

唯一行（哈希值）组件配置 

 运行转换，查看结果 

案例三

通过Kettle工具，去除原始数据集revenue.txt中的缺失值

转换

字段选择组件配置 

 

 过滤条件 

运行并查看结果 

案例四
通过Kettle工具，使用平均值填充法对文件people_survey.txt中的缺失值进行填充

转换示意图

 过滤记录组件配置

 

替换NULL值组件配置

 

合并记录组件配置 

 

替换NULL值2组件配置

 

字段选择组件配置

 

运行转换并查看结果

 

 案例五
通过Kettle工具，去除文件temperature.txt中的异常值

转换示意图

 

过滤记录组件配置

 

运行转换，查看结果

 

 案例六
通过Kettle工具，替换和修改数据表interpolation_data中的异常值

转换示意图

 

 过滤记录组件配置

 

设置值为NULL组件配置

 

 

合并记录组件配置

 

 

替换NULL值组件配置

 

字段选择组件配置

 

运行转换，查看结果

 

案例七
通过Kettle工具，使用弱一致性对数据表Personnel_Information中的数据进行一致性处理，即利用数据表Personnel_Information中的字段GENDER中的值训练出一个健康值预测模型，用于将原始数据中的字符串特征转化为模型可识别的数字特征

转换示意图

 

表输入组件配置

 

值映射组件配置

 

插入/更新组件配置

 

运行转换，查看结果

 

 由于转换data _consistency的运行只是单次的，若是后续需要进行将原始数据进行转换、插入操作，则需要运行该转换，这样工作效率很低，因此，通过Kettle工具创建一个作业，对转换data _consistency设置定时器，使得转换data _consistency程序定时自动执行数据同步的操作

创建作业

 

 

START控件配置

 

运行作业

 

可以看到，作业每间隔5s运行一次。 

 案例八
通过Kettle工具，对数据进行检验操作

转换示意图

 

自定义常量数据组件配置

 

 

 

计算器组件配置

 

 

 

数据检验组件配置

 

 

 

运行转换