异常值检测是数据预处理的关键环节，对于模型效果和分析质量至关重要。经验法和概率统计方法如方差是常用的检测手段。经验丰富的分析师能直观发现问题，而统计方法中，基于方差的样本标准偏差可用于识别超出正态分布±3个方差的异常点。
在建模或数据分析前，首先要做的事情就是数据预处理，数据预处理的好坏，很大程度上决定了模型或分析结果的好坏。其中，异常值（outliers）检测是整个数据预处理过程中，十分重要的一环。方法也是多种多样。
1、经验法，对行业数据比较了解情况数据分析师，能很快发现数据的问题，经常能发现一些数据异常，如果没有经验通过算法也不一定能发现。这也是有经验和没有经验的重要差别。
a）总体检测，总规模、均值进行检测是否异常，与环比同期值、同比值变化阀值是否在合理范围内
b）抽样检测，随机抽样样本，和真实值进行一一对比，
最低0.47元/天 解锁文章
扫一扫
876
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
