探索性数据分析

       探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法，该方法在上世纪70年代由美国统计学家J.K.Tukey提出。传统的统计分析方法常常先假设数据符合一种统计模型，然后依据数据样本来估计模型的一些参数及统计量，以此了解数据的特征，但实际中往往有很多数据并不符合假设的统计模型分布，这导致数据分析结果不理想。EDA则是一种更加贴合实际情况的分析方法，它强调让数据自身“说话”，通过EDA我们可以最真实、直接的观察到数据的结构及特征。

      EDA出现之后，数据分析的过程就分为两步了，探索阶段和验证阶段。探索阶段侧重于发现数据中包含的模式或模型，验证阶段侧重于评估所发现的模式或模型,很多机器学习算法（分为训练和测试两步）都是遵循这种思想。当我们拿到一份数据时，如果做数据分析的目的不是非常明确、有针对性时，可能会感到有些茫然（我在哪儿，我要干什么。。。我最初就是这样的），那此刻就更加有必要进行EDA了，它能帮助我们先初步的了解数据的结构及特征，甚至发现一些模式或模型，再结合行业背景知识，也许就能直接得到一些有用的结论。

       EDA的技术手段主要包括：汇总统计、可视化，下面分别做介绍。

1.汇总统计

       汇总统计是量化的（如均值和方差等），用单个数和数的小集合来捕获数据集的特征，从统计学的观点看，这里所提的汇总统计过程就是对统计量的估计过程。

1.1 单个属性情况

• 频率和众数

        频率可以简单定义为属于一个类别对象的样本数占总样本的比例，这里类别对象可以是分类模型的中不同的类，也可以是一个区间或一个集合。众数指具有最高频率的类别对象。

        频率可以帮助查看数据在不同类别对象上的分布情况，众数可以让我们获知数据主要集中在那个类别对象上，不过要注意是可能有多个类别对象上的频率与众数对象上的频率相差不大，此时就要权衡众数的重要性是否有那么大。

• 百分位数

       在有序数据上，百分位数是一个重要的统计量。给定一组数据，百分位数是这样的数：这组数据中有