异常值检测

在处理数字数据时,数据的正确性是十分重要的.当面对许多待处理的数据时,如何从这些数据中检测出异常值是一个值得探究的问题.本文讲解一种通过"箱形图"识别异常数据的方法.

日常工作中,某些数据往往具有一定的特征,例如:

年龄: 一般而言其取值范围在0 ~ 125之间,超过这个范围就可以认为数据出现了错误.

试想一种情况,某高校正在对在职教师的年龄进行登记,如果年龄数据中出现了小于20岁或者大于60岁的数据,这个数据就值得我们警惕了,这个数据是个可疑数据,值得再次核查其是否正确.

下面描述一下"箱形图"如何来进行数据监测:

1. 首先,对数据进行从小到大的排序.

2. 将数据按个数等分为4分,这需要3个点,这3个点对应的数字就是下四分位数(Q1),中位数(Q2),上四分位数(Q3).

3. 通过这3个点我们就可以得到估计的最大值和最小值,处于这个区间之内的我们就认为其一般为正确数值,处于这个范围外的为异常数值,需要核查.

Max = Q1 - k * (Q3 - Q1)

Min = Q3 + k * (Q3 - Q1)

这里可以通过k来调节容错范围,一般k取1.5.

补充:如何求得Q1,Q2,Q3?

根据数据的奇偶性可以分为2种情况:

设数据数为n,数据保存在data[n]中.

奇数的情况:

3个点的位置:

P1 = n * 0.25;

P2 = n * 0.5;

P3 = n * 0.75;

3个点的值:

Q1 = data[P1];

Q2 = data[P2];

Q3 = data[P3];

偶数的情况:

3个点的位置位于Px 和Px'之间:

P1 = ⌊n * 0.25 ⌋; P1' = P1 + 1;
P2 = ⌊n * 0.5 ⌋;   P2' = P2 + 1;

P3 = ⌊n * 0.75⌋; P3' = P3 + 1;

3个点的值:

Q1 = data[P1] * 0.25 + data[P1 + 1] * 0.75;
Q2 = data[P2] * 0.5   + data[P2 + 1] * 0.5;
Q3 = data[P3] * 0.75 + data[P3 + 1] * 0.25;