1.多元线性回归
多元线性回归的代码实现如下:
> data3.1<-read.csv("C:/Users/Administrator/Desktop/data3.1.csv",head=TRUE)
> lm3.1<-lm(y~x1+x2+x3+x4+x5+x6+x7+x8+x9,data=data3.1)
> summary(lm3.1)
输出结果为:
因而
y
y
y对9个自变量的线性回归方程为:
y
^
=
320.6
+
1.317
x
1
+
1.65
x
2
+
2.179
x
3
−
0.006
x
4
+
1.684
x
5
\hat{y}=320.6+1.317x_{1}+1.65x_{2}+2.179x_{3}-0.006x_{4}+1.684x_{5}
y^=320.6+1.317x1+1.65x2+2.179x3−0.006x4+1.684x5
+
0.01
x
6
+
0.004
x
7
−
19.13
x
8
+
50.52
x
9
+0.01x_{6}+0.004x_{7}-19.13x_{8}+50.52x_{9}
+0.01x6+0.004x7−19.13x8+50.52x9
由summary()语句的输出结果可以看出,其中
F
F
F值为
299
299
299,对应的
P
P
P值为
2.2
e
−
16
2.2e-16
2.2e−16,由此可知次回归方程整体上高度显著,即做出9个自变量整体对因变量
y
y
y产生显著线性影响的判断所犯错误的概率约为0.
2.方差分析
对于线性回归的方差分析,R语言中不仅可使用函数anova()得到方差分析表,还可以使用函数Anova()。
> library(car)
> Anova(lm3.1,type="III")
得到结果如下:
从上述结果中看出,在显著性水平
α
=
0.05
\alpha =0.05
α=0.05下,只有
x
1
,
x
2
,
x
3
,
x
5
x_{1},x_{2},x_{3},x_{5}
x1,x2,x3,x5对
y
y
y产生显著线性影响。
3.偏相关系数
偏相关系数测定在回归方程中已包含若干个自变量时,在引入某一个新的自变量时, y y y的剩余变差的相对减少量,它衡量某自变量对 y y y的变差减少的边际贡献。偏决定系数的算术平方根为片相关系数。
> data3.2<-read.csv("C:/Users/Administrator/Desktop/data3.2.csv",head=TRUE)
> lm3.2<-lm(y~x1+x2,data=data3.2)
> r<-cor(data3.2)
> library(corpcor)
> pcor3.2<-cor2pcor(r)
输出结果为:
相关系数:
偏相关系数:
从上面结果可以看出,
r
y
1
;
2
=
0.802
r_{y1;2}=0.802
ry1;2=0.802(
r
y
1
;
2
r_{y1;2}
ry1;2表示模型中已含有
x
2
x_{2}
x2时再加入
x
1
x_{1}
x1使
y
y
y的剩余变差的相对减少量),
r
y
1
;
2
=
0.739
r_{y1;2}=0.739
ry1;2=0.739,进一步计算可得到偏决定系数
r
y
1
;
2
2
=
0.643
,
r
y
2
;
1
2
=
0.546
r_{y1;2}^{2}=0.643,r_{y2;1}^{2}=0.546
ry1;22=0.643,ry2;12=0.546.
由相关系数矩阵可知,
y
y
y与
x
1
x_{1}
x1的简单相关系数
r
y
1
=
0.807
r_{y1}=0.807
ry1=0.807,则决定系数
r
y
1
2
=
(
0.807
)
2
=
0.652
r_{y1}^{2}=(0.807)^{^{2}}=0.652
ry12=(0.807)2=0.652.
以上数据表明,用
y
y
y与
x
1
x_{1}
x1做一元线性回归时,
x
1
x_{1}
x1能消除
y
y
y的变差SST的比例是62.5%,再引入
x
2
x_{2}
x2时,
x
2
x_{2}
x2能消除剩余变差SSE的比例是54.6%,因而自变量
x
1
x_{1}
x1和
x
2
x_{2}
x2消除变差的总比例为
1
−
(
1
−
r
y
1
2
)
(
1
−
r
y
2
;
1
2
)
=
1
(
1
−
0.652
)
×
(
1
−
0.546
)
=
0.842
1-(1-r_{y1}^{2})(1-r_{y2;1}^{2})=1(1-0.652)\times(1-0.546)=0.842
1−(1−ry12)(1−ry2;12)=1(1−0.652)×(1−0.546)=0.842,这个值恰好是
y
y
y对
x
1
x_{1}
x1和
x
2
x_{2}
x2的二元香型回归的决定系数
R
2
R^{2}
R2.