一、构建包含异常值的矩阵
import pandas as pd
import matplotlib.pyplot as plt
#构建包含异常值的矩阵
df=pd.DataFrame([[1,12],[120,17],[3,31],[5,53],[2,22],[12,32],[13,43]],columns=['col1','col2'])
df
输出:
二、画图
#散点图
plt.scatter(df['col1'],df['col2'])
plt.show()
输出:
从表中,我们暂时可以判断120为离群值(异常点)。
三、通过Z-Score法判断异常值
df_zscore=df.copy() #复制一个用来存储Z-score得分的数据框
df_zscores=(df_zscore-df_zscore.mean())/df_zscore.std() #0-1标准化法
df_zscores.abs()>2.2 #标准化的绝对值大于2.2即为异常点
输出:
注意:对于有固定业务规则的可直接套用业务规则,而对于没有业务规则的,可以采用常见的数学模型进行判断,即基于概率分布的模型(例如正态分布的标准差范围)、基于聚类的方法(例如kmeans)、基于密度的方法(例如LOF)、基于分类的方法(例如KNN)、基于统计的方法(例如分位数)等,此时异常值的定义带有较强的主观判断色彩,具体情况具体分析。