数据挖掘：数据处理概念

一、什么是数据预处理？
一般我们得到的数据会存在有缺失值、重复值等，在使用之前需要进行数据预处理。它是一系列对数据操作的统称。
数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。数据预处理的常用流程为：

数据清洗：可以用来清楚数据中的噪声，纠正不一致。
数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。
数据归约：可以通过如聚集、删除冗余特征或聚类来降低数据的规模。
数据变换：(例如，规范化)可以用来把数据压缩到较小的区间，如0.0到1.0。
原始数据存在的几个问题：不一致；重复；含噪声；维度高等问题。

二、数据清洗
一般数据清洗包括：

缺失值
异常值
数据噪声
数据不平衡
唯一值
重复值
格式清洗
思维逻辑
前4个在之前的文章已经提到了，接下来介绍后四个处理方法。

缺失值处理
异常值处理
数据噪声处理
数据不平衡处理

2.1 唯一值
如数据中id这个属性，如果每条数据都对应同一个id，那么该特征对数据的预测就没有任何意义，可删除该列数据。

但并不是所有数据的id都是无意义的。如果每个id都对应了很多的数据，则此时不应删除该id，而是对每个id中的数据进行统计分析。将一个id看做一组数据单独去分析，得到均值、中位数、标准差、峰度、偏度等描述该组分布的信息，整合为一个数据。这样每条数据才会对应一个id，进而再删除id。要根据具体的数据应用场景去判断，而不是一上来就删除数据。

2.2 重复值
重复值是无意义的数据