matlab数据错误值检查,基于Matlab语言的统计数据异常值检验

Ｖｏｌ．２８Ｎｏ．１１

Ｎｏｖ．２０１２

赤峰学院学报(自然科学版)ＪｏｕｒｎａｌｏｆＣｈｉｆｅｎｇＵｎｉｖｅｒｓｉｔｙ(ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ)第２８卷第１１期(上)

２０１２年１１月评估统计数据的准确性是统计学研究的一个重要课题，在实际统计工作中遇到的数据常会出现下面的两种情况：一是单个变量的值过大或过小，明显偏离该变量大多数观测值；二是单个变量值虽未表现出异常，但却不符合变量间的结构和相关性，明显扰乱这种相关关系，我们称这种观测值为异常值［１］．异常值是影响统计数据质量的一个非常重要的因素，因此如何发现和处理这些异常数据十分重要，文献［１－５］对统计数据质量的概念及统计数据质量评估的方法进行了讨论，本文利用Ｍａｔｌａｂ软件采用残差分析的方法对统计数据中的异常值进行了检验．1

残差分析理论

设线性回归模型为：Ｙ＝Ｘβ＋ε，其中Ｙ是由响应变量构成的ｎ维向量，ｎ×(ｐ＋１)阶设计矩阵，β是ｐ＋１维向量，ε是ｎ维误差向量．

回归系数估计值β赞＝(ＸＴＸ)－１ＸＴＹ，拟合值Ｙ赞＝Ｘ(ＸＴＸ)－１ＸＴＹ，

残差ε赞＝Ｙ－Ｙ赞．通过对残差和残差的置信区间进行分析，可以看出原始数据中是否存在异常点，若残差的置信区间不包括０点，可认为该组观测为异常点．

2

基于Matlab 语言的回归诊断异常值检验程序

(１)调用ｒｅｇｒｅｓｓ函数作一元线性回归［ｂ，ｂｉｎｔ，ｒ，ｒｉｎｔ，ｓ］＝ｒｅｇｅｅｓｓ(ｙ，ｘｄｓｔａ)；返回系数的估计值、残差的估计值及估计值的９５％置信区间、判定系数、Ｆ统计量的观测值和检验的ｐ值．

(２)调用ｒｃｏｐｌｐｔ(ｒ，ｒｉｎｔ)按顺序画出各组观测数据对应的残差和残差的置信区间．3

应用举例

分析２０１０年全国３１个主要城市的年平均气温与全年日照时数的关系，并分析异常值点．数据来源于中华人民共和国国家统计局网站２０１０年资源和环境统计数据．

经初步分析，可以建立以年平均气温为自变量，全年日照时数为因变量的一元线性回归模型，且该模型通过Ｆ检验，由程序输出结果知，常数项和回归系数项的估计值分别为３．１３８×１０３和－７２．５９５７，从而得线性回归方程为Ｙ

赞＝３０３１．８－７２．５９５７ｘ，回归系数的估计区间为［－１０２．１７４２，－４３．０１７３］．

其原始数据散点与回归直线图，原始数据残差及置信区间图和剔除异常值后的回归直线图如下：

基于Matlab 语言的统计数据异常值检验

潘丽静

(１．渭南师范学院数学系；２．渭南师范学院统计科学与社会计算研究所，陕西渭南７１４０００)摘要：从回归模型诊断的角度对统计数据中的异常值进行探测与分析，并基于Ｍａｔｌａｂ语言，结合具体实例，给出回归诊断在统计数据异常值探测中的应用．

关键词：回归诊断；异常值；Matlab 中图分类号：Ｏ２１２．３

文献标识码：Ａ

文章编号：１６７３－２６０Ｘ(２０１２)１１－０００５－０２

基金项目：国家统计局项目(2011LY030)，渭南市科技计划项目(2011YKJ-2)

５－－