【机器学习】Python数据预处理（1）异常值处理

异常值

数据预处理第一步，通常是对异常值的处理。首先，要得到数据的上四分位数和下四分位数，利用np.percentile()，用法如下。

import numpy as np
x = np.array([[1,2,3],[7,8,9]])
Q1 = np.percentile(x,25) # 1st quartile
Q3 = np.percentile(x,75) # 3st quartile

假设数据集是x = [1, 2, 3, ..., 98, 99, 10000]，显然最后一个数10000是一个超限点。它的Q1 = 25, Q3 = 75，四分位距IQR（the interquartile range）=Q1 - Q3。若上下界分别扩大0.5倍，令k = 1.5为high = Q3 + k * (Q3 - Q1)，下界为low = Q1 - k * (Q3 - Q1)，即上界为-50下界为150，显然10000超限。如果想调整上界下界的范围，调整系数即可。

对于一个矩阵df，按列循环找到每列数据的异常值，如果某个样本含有n个以上的超限特征，返回行号。