数据处理时如何解决噪声数据？

一、什么是噪声

       在机器学习中我们在独立随机抽样的时候会出现一些搞错的信息，这些错误的数据我们称之为杂讯（或者噪音  noise），一般可以归结为一下两种（以二分为例）：

输出错误：

1.同样的一笔数据会出现两种不同的评判  

2.在同样的评判下会有不同的后续处理。

输入错误：

1.在收集数据的时由于数据源的随机性会出现错误（比如说，客户在填信息的时候出现的误填）

实际应用中的数据基本都是有干扰的，还是用信用卡发放问题举例子：

 

 

噪声产生原因：

1. 标记错误：应该发卡的客户标记成不发卡，或者两个数据相同的客户一个发卡一个不发卡；
2. 输入错误：用户的数据本身就有错误，例如年收入少写一个0、性别写反了什么的。

二、噪声数据的处理方法

常见的噪声数据的处理方法：分箱；聚类；计算机和人工检查结合；回归

1、分箱

分箱方法是一种简单常用的预处理方法，通过考察相邻数据来确定最终值。所谓“分箱”，实际上就是按照属性值划分的子区间，如果一个属性值处于某个子区间范围内，就称把该属性值放进这个子区间所代