数据挖掘：数据预处理相关概念

数据挖掘：数据预处理相关概念

一、什么是数据预处理？

一般我们得到的数据会存在有缺失值、重复值等，在使用之前需要进行数据预处理。它是一系列对数据操作的统称。
数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。数据预处理的常用流程为：

1. 数据清洗：可以用来清楚数据中的噪声，纠正不一致。
2. 数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。
3. 数据归约：可以通过如聚集、删除冗余特征或聚类来降低数据的规模。
4. 数据变换：(例如，规范化)可以用来把数据压缩到较小的区间，如0.0到1.0。

原始数据存在的几个问题：不一致；重复；含噪声；维度高等问题。

二、数据清洗

一般数据清洗包括：

1. 缺失值
2. 异常值
3. 数据噪声
4. 数据不平衡
5. 唯一值</