数据分析--检测异常样本方法

在建模或数据分析前，首先要做的事情就是数据预处理，数据预处理的好坏，很大程度上决定了模型或分析结果的好坏。其中，异常值（outliers）检测是整个数据预处理过程中，十分重要的一环。方法也是多种多样。

1、经验法，对行业数据比较了解情况数据分析师，能很快发现数据的问题，经常能发现一些数据异常，如果没有经验通过算法也不一定能发现。这也是有经验和没有经验的重要差别。

    a）总体检测，总规模、均值进行检测是否异常，与环比同期值、同比值变化阀值是否在合理范围内

    b）抽样检测，随机抽样样本，和真实值进行一一对比，看两者是否有差异，从而判断数据是否有问题，如果数据没有问题，数据