[数据分析学习笔记] 数据预处理

数据分析学习笔记 —— 数据预处理

数据预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的挖掘技术或工具。

为什么需要进行数据预处理？

包含在数据源中的大部分原始数据未被处理，它们是不完整的数据或者含有不符合数据分析要求的数据，为此需要进行数据预处理。这些数据中可能包含（不符合要求的数据）：

• 过时或冗余字段
• 缺失值
• 离群值
• 其形式不适合数据分析模型的数据
• 与分析策略或常识不一致的值

离群值是偏离了其他值得趋势的极端值。识别离群值非常重要，因为它们有可能代表数据输入错误。此外，某些统计方法对离群值是非常敏感的，即使离群值是有效的数据而不是错误的数据，也可能对分析产生不可靠的结果。

识别离群值的图形方法是校验变量的直方图。

识别离群值的数值方法：

• 使用Z-score
• 均值和标准差
• IQR

 

数据预处理的主要内容包括：数据清洗、数据集成、数据变换和数据规约。

知识点总结如下图所示：

---

数据预处理的主要过程 

数据清洗：主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值等。

数据集成：将多个数据源合并存放在一个一致的数据存储（如：数据仓库）中的过程。

数据变换：对数据进行规范化处理，将数据转换成“适当的”形式，以适用于挖掘任务及算法的需要。

数据规约：在大数据集上进行复杂的数据分析和挖掘需要很长的时间，数据规约产生更小但保持原数据完整性的新数据集。在规约后的数据集上进行分析和挖掘将更有效率。