作业:Kettle:数据去重与缺失值处理

本文介绍了如何使用Kettle工具对merge.csv文件进行完全去重,以及对people_survey.txt文件中的缺失值进行填充。通过配置CSV文件输入、唯一行(哈希值)控件实现去重,通过文本文件输入、过滤记录、替换NULL值等控件完成缺失值处理。
摘要由CSDN通过智能技术生成

题目:(1)对文件merge.csv进行完全去重

           (2)对文件people_survey,txt.中的缺失值进行填充

1.对文件merge.csv进行完全去重

       完全去重指的是消除完全重复的数据,这里提到的完全重复数据指的是数据表记录字段值完全一样的数据。 

(1)打开Kettle工具,新建转换

使用Kettle工具创建一个转换,并添加“CSV文件输入”、“唯一行(哈希值)”控件以及Hop跳连接线结果如图:

 (2)配置CSV文件输入控件

 点击“预览”查看该文件是否加载到csv文件输入流中:

(3) 配置“唯一行(哈希值)”控件

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值