关闭

R语言回归分析之影响分析

标签: r语言数据影响分析
390人阅读 评论(0) 收藏 举报
分类:

说明
影响分析就是探查对估计有异常影响的数据,如果一个样本不遵从某个模型,但是其余数据遵从这个模型,称为这个样本点为强影响点,也称为高杠杆点,影响分析的一个重要功能就是区分这样的数据。
影响分析的方法有 dffits,dfbeta,dfbetas,cooks.distance,covratio,hatvalues,hat.

## 1. 回归分析
21个儿童测试值,x为月份,y为智力
intellect<-data.frame(
    x=c(15, 26, 10,  9, 15, 20, 18, 11,  8, 20, 7,
         9, 10, 11, 11, 10, 12, 42, 17, 11, 10),
    y=c(95, 71, 83,  91, 102,  87, 93, 100, 104, 94, 113,
        96, 83, 84, 102, 100, 105, 57, 121,  86, 100)
) 
lm.sol<-lm(y~1+x, data=intellect)
summary(lm.sol)
Call:
lm(formula = y ~ 1 + x, data = intellect)

Residuals:
    Min      1Q  Median      3Q     Max 
-15.604  -8.731   1.396   4.523  30.285 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 109.8738     5.0678  21.681 7.31e-15 ***
x            -1.1270     0.3102  -3.633  0.00177 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 11.02 on 19 degrees of freedom
Multiple R-squared:   0.41, Adjusted R-squared:  0.3789 
F-statistic:  13.2 on 1 and 19 DF,  p-value: 0.001769

分别通过了t检验与F检验

#回归诊断,调用influence.measures()并做回归诊断图
influence.measures(lm.sol)
Influence measures of
     lm(formula = y ~ 1 + x, data = intellect) :

     dfb.1_    dfb.x    dffit cov.r   cook.d    hat inf
1   0.01664  0.00328  0.04127 1.166 8.97e-04 0.0479    
2   0.18862 -0.33480 -0.40252 1.197 8.15e-02 0.1545    
3  -0.33098  0.19239 -0.39114 0.936 7.17e-02 0.0628    
4  -0.20004  0.12788 -0.22433 1.115 2.56e-02 0.0705    
5   0.07532  0.01487  0.18686 1.085 1.77e-02 0.0479    
6   0.00113 -0.00503 -0.00857 1.201 3.88e-05 0.0726    
7   0.00447  0.03266  0.07722 1.170 3.13e-03 0.0580    
8   0.04430 -0.02250  0.05630 1.174 1.67e-03 0.0567    
9   0.07907 -0.05427  0.08541 1.200 3.83e-03 0.0799    
10 -0.02283  0.10141  0.17284 1.152 1.54e-02 0.0726    
11  0.31560 -0.22889  0.33200 1.088 5.48e-02 0.0908    
12 -0.08422  0.05384 -0.09445 1.183 4.68e-03 0.0705    
13 -0.33098  0.19239 -0.39114 0.936 7.17e-02 0.0628    
14 -0.24681  0.12536 -0.31367 0.992 4.76e-02 0.0567    
15  0.07968 -0.04047  0.10126 1.159 5.36e-03 0.0567    
16  0.02791 -0.01622  0.03298 1.187 5.74e-04 0.0628    
17  0.13328 -0.05493  0.18717 1.096 1.79e-02 0.0521    
18  0.83112 -1.11275 -1.15578 2.959 6.78e-01 0.6516   *
19  0.14348  0.27317  0.85374 0.396 2.23e-01 0.0531   *
20 -0.20761  0.10544 -0.26385 1.043 3.45e-02 0.0567    
21  0.02791 -0.01622  0.03298 1.187 5.74e-04 0.0628 
influence.measures(lm.sol)
op <- par(mfrow=c(2,2), mar=0.4+c(4,4,1,1), 
          oma= c(0,0,2,0))
plot(lm.sol, 1:4)
par(op)

回归诊断图

influence.measures(lm.sol)函数得到的回归诊断共有7列,
其中1,2列是dfbetas值(对应常数与变量x),
第三例是dffits的准则值,
第三例是covratio的准则值,
第五例是cook值,第6例是帽子值(高杠杆值),
第七例影响点的标记,
inf表明18,19号是强影响点。

对诊断图分析:
第一张图是残差图,残差的方差满足齐性。
第二张图是正态QQ图,除19号外基本都在直线上,也就是说除19号点外残差满足正态性。
第三张图标准差的平方根与预测值的散点图,19号样本的值大于1.5,说明19号样本可能是异常值点(0.95范围外)
第四张图给出了COOK距离值,说明18号点可能是强影响点(高杠杆点)

处理强影响点:首先,是否录入有误。其次,修正数据。如果无法判断是否有误,采用剔除与加权的办法进行修正数据。

n<-length(intellect$x)
weights<-rep(1, n); weights[18]<-0.5
lm.correct<-lm(y~1+x, data=intellect, subset=-19,
               weights=weights)
summary(lm.correct)
Call:
lm(formula = y ~ 1 + x, data = intellect, subset = -19, weights = weights)

Weighted Residuals:
    Min      1Q  Median      3Q     Max 
-14.300  -7.539   2.700   5.183  12.229 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 108.8716     4.4290   24.58 2.67e-15 ***
x            -1.1572     0.2937   -3.94 0.000959 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 8.617 on 18 degrees of freedom
Multiple R-squared:  0.4631,    Adjusted R-squared:  0.4333 
F-statistic: 15.53 on 1 and 18 DF,  p-value: 0.0009594

在程序中,subset = -19表示去掉19样本。weights<-rep(1, n)所有点权赋为1,weights[18]<- 0.5,18号点为0.5,这样可以直观认为18号点对方程影响减少一半。

验证:两次计算的回归直线,和数据的散点图。

attach(intellect)
par(mai=c(0.8, 0.8, 0.2, 0.2))
plot(x, y, cex=1.2, pch=21, col="red", bg="orange")
abline(lm.sol, col="blue", lwd=2)
text(x[c(19, 18)], y[c(19, 18)], 
     label=c("19", "18"), adj=c(1.5, 0.3))
detach()
abline(lm.correct, col="red", lwd=2, lty=5)
legend(30, 120, c("Points", "Regression", "Correct Reg"), 
       pch=c(19, NA, NA), lty=c(NA, 1,5), 
       col=c("orange", "blue", "red"))

回归直线和散点图
从图中可以看出,19号样本的残差过大,而18号样本对整体回归直线有较大的影响。

检验:看修正之后是否有效

op <- par(mfrow=c(2,2), mar=0.4+c(4,4,1,1), oma= c(0,0,2,0))
plot(lm.correct, 1:4)
par(op)

修正后的诊断图

修正后的诊断图

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:48248次
    • 积分:1358
    • 等级:
    • 排名:千里之外
    • 原创:89篇
    • 转载:0篇
    • 译文:0篇
    • 评论:3条
    文章存档
    最新评论