数据清洗及OpenRefine工具

数据分析的首要步骤是数据清洗,包括处理残缺、错误和重复数据。通过KNN、回归、判定树等算法可以填充缺失值,利用聚类、回归等方法去除噪声数据,设置阈值排除重复数据。OpenRefine是一款高效的数据清洗工具,但在使用上仍需学习。
摘要由CSDN通过智能技术生成

数据分析中,首先要进行数据清洗,才可以继续训练模型,预测等操作。

  首先介绍一下什么是数据清洗

  数据清洗从名字上也看的出就是把“脏”的“洗掉”,指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。我们要按照一定的规则把“脏数据”“洗掉”,这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,过滤。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。

  残缺数据:通过算法KNN,回归,

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值