数据挖掘-数据探索

数据探索

        根据观测、调查收集到初步的样本数据集后，接下来要考虑的问题是：样本数据集的数量和质量是否满足模型构建的要求？有没有出现从未设想过的数据状态？其中有没有什么明显的规律和趋势？各因素之间有什么样的关联性？

        数据探索就是通过检验数据集的数据质量、绘制图表、计算某些特征量等手段，对样本数据集的结构和规律进行分析的过程。

数据探索可以从数据质量分析和数据特征分析等两个角度进行展开。

一．数据质量分析

     数据质量分析是数据挖掘中数据准备过程中的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础。数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在数据挖掘中，脏数据包括：

   缺失值

   异常值

   不一致的值

   重复数据及含有特殊符号的数据

1.1   缺失值分析

     数据的缺失主要包括记录的缺