第五章 数据清洗与校验

案例一

通过Kettle工具，消除CSV文件merge.csv中完全重复的数据

转换

配置csv文件输入组件输入数据

唯一行组件配置

 运行转换，查看结果

 案例二

通过Kettle工具，将文件people.txt中不完全重复的数据进行去重处理

转换

文本文件输入配置

 

唯一行（哈希值）组件配置

 

 运行转换，查看结果

 

 

案例三

通过Kettle工具，去除原始数据集revenue.txt中的缺失值

 

转换

字段选择组件配置

 过滤条件

运行并查看结果

案例四

通过Kettle工具，使用平均值填充法对文件people_survey.txt中的缺失值进行填充

转换示意图

过滤记录组件配置

替换NULL值组件配置

合并记录组件配置 

 

替换NULL值2组件配置

字段选择组件配置

运行转换并查看结果

 案例五

通过Kettle工具，去除文件temperature.txt中的异常值

转换示意图

过滤记录组件配置

运行转换，查看结果

 案例六

通过Kettle工具，替换和修改数据表interpolation_data中的异常值

转换示意图

 过滤记录组件配置

设置值为NULL组件配置

合并记录组件配置

替换NULL值组件配置

字段选择组件配置

运行转换，查看结果

案例七

通过Kettle工具，使用弱一致性对数据表Personnel_Information中的数据进行一致性处理，即利用数据表Personnel_Information中的字段GENDER中的值训练出一个健康值预测模型，用于将原始数据中的字符串特征转化为模型可识别的数字特征

转换示意图

表输入组件配置

值映射组件配置

插入/更新组件配置

运行转换，查看结果

 

 由于转换data _consistency的运行只是单次的，若是后续需要进行将原始数据进行转换、插入操作，则需要运行该转换，这样工作效率很低，因此，通过Kettle工具创建一个作业，对转换data _consistency设置定时器，使得转换data _consistency程序定时自动执行数据同步的操作

创建作业

START控件配置

运行作业

可以看到，作业每间隔5s运行一次。 

 案例八

通过Kettle工具，对数据进行检验操作

转换示意图

自定义常量数据组件配置

计算器组件配置

数据检验组件配置

 

运行转换