python异常数据_python异常数据预警之3sigma

3sigma原理一般在工程科学中比较常用，我们在故障预警中用过这个原理，数据是用传感器采集的数据，这些数据假定符合正态分布，然后在进行模型识别后用3sigma原则来对异常数据进行准确定位。在实际应用中可以根据业务场景来确定 k sigma中的k值。

3sigma原理可以简单描述为：若数据服从正态分布，则异常值被定义为一组结果值中与平均值的偏差超过三倍标准差的值。即在正态分布的假设下，距离平均值三倍

(为标准查)之外的值出现的概率很小(如下式)，因此可认为是异常值。

若数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述(这就使该原理可以适用于不同的业务场景，只是需要根据经验来确定 k sigma中的k值，这个k值就可以认为是阈值)。

代码如下：

#-*- coding: utf-8 -*-

#基于3sigma的异常值检测

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt #导入绘图库

n = 3 # n*sigma

catering_sale = 'D:/PythonTestCode/dadm/chapter3/chapter3/demo/data/catering_sale.xls' #数据路径

data = pd.read_excel(catering_sale, index_col = False) #读取数据

data_y = data[u'销量']

<