python异常值处理箱型图_Python机器学习-异常值

在数据研究中，通常可以发现，数据整体总是呈现一种统计概率分布。但是，仍有少量样本偏离总体，在总体规律中有不合理的表现，这样的样本点被称为'异常值'或者'离群点'。

分析研究人员在不同领域对待异常点的态度也不相同，一方面，异常点可能会对样本总体造成偏移，或者有些算法对异常点尤其敏感，就会造成拟合的统计模型发生偏差，影响效果；另一方面，异常点在某一些行业被研究者重视，疾病监测（异常点可能代表疾病情况），信用欺诈（异常点可能代表欺诈行为）等。

因此，异常点的检测和处理要慎重，要根据分析场景采取不同的处理措施。

1、异常点检测

异常点的检测按照处理方式可以分为图形法和模型法。图形法主要是借助箱线图或者正态分布图来判断，而模型法主要是建立总体模型，偏离模型的鉴定为异常点。

1.1 数据错误

我们知道，数据一定要在具体的场景下去应用，每个变量都有其各自的意义，不然数据就变得没有“枯燥”。因此，数据检测第一步可以从数据指标的含义入手，检测是否符合本身的业务含义。比如，'age'年龄字段，一般年龄均在0至100之间，如果出现了-10或者200等这样不合逻辑的数值，一定是数值出现了异常，需要处理。

简言之，数值需要符合变量的业务含义，不合逻辑需要处理。

# 数值型指标的分位数描述
df.describe()

1.2 箱线图

箱线图是识别数据异常