本文介绍了如何使用Kettle工具对CSV文件进行完全去重和填充缺失值。首先，通过配置“CSV文件输入”和“唯一行（哈希值）”控件实现merge.csv文件的去重操作。接着，针对people_survey.txt文件，通过“文本文件输入”、“过滤记录”、“替换NULL值”等控件处理缺失值，特别是针对hours_per_week和workclass字段的填充方法。
使用Kettle工具创建转换repeat. transform, 并添加“CSV文件输人”控件、“唯一行(哈希值)”控件以及Hop 跳连接线
2.配置“csv文件输入”控件
双击“CSV文件输入”控件，进入“CSV文件输入”界面，单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv
单击“获取字段”按钮，kettle会自动检索CSV文件，并对文件中的字段类型、格式、长度、精度等属性进行分析 
单击“预览”按钮，查看CSV文件merge.csv的数据是否加载到CSV文件输入流中
双击“唯一行（哈希值）”控件，进入“唯一行（哈希值）”界面，在“用来比较字段”处添加要去重的字段，这里可以单击“获取”按钮，添加需要去重的字段
842
174
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
