【异常分析：四分位距与3σ原则】

前言

异常分析的目标是识别数据中的异常值，这些异常值可能是由于错误的记录、设备故障或者其他未知原因导致的。四分位距（interquartile range, IQR）和3σ原则（3 sigma rule）是两个常用的工具。

四分位距（IQR）

四分位距是统计学中用于度量数据离散程度的一种方法。它是指数据的上四分位数（Q3）与下四分位数（Q1）之间的差值，通常用于识别数据集中的离群值。计算四分位距的公式如下：

IQR=Q3-Q1

其中，Q1是数据的25th百分位数，Q3是数据的75th百分位数。

3σ原则

3σ原则是一种基于正态分布的统计学原则，用于判断数据中的异常值。根据3σ原则，如果数据服从正态分布，那么大约有68%的数据值落在均值加减一个标准差范围内，大约有95%的数据值落在均值加减两个标准差范围内，大约有99.7%的数据值落在均值加减三个标准差范围内。因此，超出均值加减三个标准差范围的数据可以被视为异常值。

使用步骤

计算四分位距

import numpy as np

# 计算第一四分位数（Q1）
Q1 = np.percentile(data, 25)

# 计算第三四分位数（Q3）
Q3 = np.percentile(data, 75)

# 计算四分位距（IQR）
IQR = Q3 - Q1

应用3σ原则

# 计算数据的均值和标准差
mean = np.mean(data)
std_dev = np.std(data)

# 计算异常值的阈值
threshold = 3 * std_dev

# 根据3σ原则判断异常值
outliers = [x for x in data if abs(x - mean) > threshold]

代码

import numpy as np
import matplotlib.pyplot as plt

# 示例数据
data = [100, 150, 200, 250, 300, 350, 400, 450, 500, 1000]

# 计算四分位距
Q1 = np.percentile(data, 25)  # 第一四分位数
Q3 = np.percentile(data, 75)  # 第三四分位数
IQR = Q3 - Q1  # 四分位距
print("第一四分位数:", Q1)
print("第三四分位数:", Q3)
print("四分位距:", IQR)
print("异常值范围:", (Q1 - 1.5 * IQR, Q3 + 1.5 * IQR))

# 应用3σ原则识别异常值
mean = np.mean(data)
std_dev = np.std(data)
threshold = 3 * std_dev
outliers = [x for x in data if abs(x - mean) > threshold]
print("异常值:", outliers)

# 可视化
# 箱型图
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.boxplot(data)
plt.xlabel('数据')
plt.title('数据和异常值')
plt.show()