数据清洗的几种常用手段

    数据清洗主要是删除原始数据集中的无关数据、重复数据,过滤与挖掘主题无关的数据,处理缺失值和异常值。

 

缺失值的处理办法

 

    1、不处理

    2、删除记录

    3、数据插补

      a、插补均值、中位数、众数

      b、使用固定值,用一个常量替换。如一个普通工人的工资缺失,可以按照当地的工资标准给值

      c、最近插补:利用与缺失样本最接近的样本的该属性值插补

      d、回归插补:建立拟合模型预测缺失值

      e、插值法

 

    插值法主要有两种:拉格朗日插值法和牛顿插值法

    拉格朗日插值法就是将样本代入差值多项式,求解近似值。

    牛顿插值法也是多项式的差值,但是采用的构造方法不同f(x)=P(x)+R(x),前一项为逼近函数,后一项为误差函数。我们可以用python来实现拉格朗日插值法。

 

                                                                        

 

    这种插值法,如果插第一个值,会发现得到的结果是负数,明显不符合实际情况,所以还需要修正的。

 

异常值的处理办法

 

    1、删除含有异常值的记录

    2、视为缺失值

    3、平均值修正

    4、不处理

 

转载于:https://www.cnblogs.com/CCColby/p/8507993.html

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值