在处理数字数据时,数据的正确性是十分重要的.当面对许多待处理的数据时,如何从这些数据中检测出异常值是一个值得探究的问题.本文讲解一种通过"箱形图"识别异常数据的方法.
日常工作中,某些数据往往具有一定的特征,例如:
年龄: 一般而言其取值范围在0 ~ 125之间,超过这个范围就可以认为数据出现了错误.
试想一种情况,某高校正在对在职教师的年龄进行登记,如果年龄数据中出现了小于20岁或者大于60岁的数据,这个数据就值得我们警惕了,这个数据是个可疑数据,值得再次核查其是否正确.
下面描述一下"箱形图"如何来进行数据监测:
1. 首先,对数据进行从小到大的排序.
2. 将数据按个数等分为4分,这需要3个点,这3个点对应的数字就是下四分位数(Q1),中位数(Q2),上四分位数(Q3).
3. 通过这3个点我们就可以得到估计的最大值和最小值,处于这个区间之内的我们就认为其一般为正确数值,处于这个范围外的为异常数值,需要核查.
Max = Q1 - k * (Q3 - Q1)
Min = Q3 + k * (Q3 - Q1)
这里可以通过k来调节容错范围,一般k取1.5.
补充:如何求得Q1,Q2,Q3?
根据数据的奇偶性可以分为2种情况:
设数据数为n,数据保存在data[n]中.
奇数的情况:
3个点的位置:
P1 = n * 0.25;
P2 = n * 0.5;
P3 = n * 0.75;
3个点的值:
Q1 = data[P1];
Q2 = data[P2];
Q3 = data[P3];
偶数的情况:
3个点的位置位于Px 和Px'之间:
P1 = ⌊n * 0.25 ⌋; P1' = P1 + 1;P2 = ⌊n * 0.5 ⌋; P2' = P2 + 1;
P3 = ⌊n * 0.75⌋; P3' = P3 + 1;
3个点的值:
Q1 = data[P1] * 0.25 + data[P1 + 1] * 0.75;Q2 = data[P2] * 0.5 + data[P2 + 1] * 0.5;
Q3 = data[P3] * 0.75 + data[P3 + 1] * 0.25;