数据挖掘学习之数据探索

数据探索是数据挖掘必不可少的一环，数据探索技术会对模型准确率的提高带来惊喜的效果。

1、什么是数据探索？

答：数据探索是通过绘图、计算、等手段，分析数据集的数据质量、数据的结构、数据的趋势和数据的关联性，为数据探索之后的特征工程阶段打下坚实的基础。

2、数据探索的内容

数据的质量分析和数据的特征分析

2.1数据的质量分析是指检查数据中是否存在脏数据，包括：缺失值、异常值、噪声和不一致的值，重复数据和含有特殊符号的数据

2.1.1缺失值分析

（数据为何缺失）由于数据获取的有难度、信息被遗漏、数据采集的故障等（人为和非人为），造成了特征的数据缺失

（为何要处理缺失的数据）缺失值会对数据挖掘建模的准确度造成影响、同样会使建模过程非常地困难。

(处理缺失值）见特征工程

2.1.2异常值分析

异常值是指样本中的个别值，也称离群点

如何查看异常值：描述性统计

正太分布下的2阿路发原则；

2.1.3一致性分析

数据集成造成的数据不一致

在数据的特征分析中，主要用到Python的pandas类库，使用DataFrame的info()和describe()