第
7
章
岭回归
思考与练习参考答案
7.1
岭回归估计是在什么情况下提出的？
答：
当自变量间存在复共线性时，
｜
X’X
｜≈
0
，
回归系数估计的方差就很大，
估
计值就很不稳定，为解决多重共线性，并使回归得到合理的结果，
70
年代提出
了岭回归
(Ridge Regression,
简记为
RR)
。
7.2
岭回归的定义及统计思想是什么？
答：
岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，
其
统计思想是对于
（
X
’
X
）
-1
为奇异时，
给
X’X
加上一个正常数矩阵
D,
那么
X’X+D
接近奇异的程度就会比
X
′
X
接近奇异的程度小得多，
从而完成回归。
但是这样
的回归必定丢失了信息，
不满足
blue
。但这样的代价有时是值得的，因为这样可
以获得与专业知识相一致的结果。
7.3
选择岭参数
k
有哪几种方法？
答：
最优
k
是依赖于未知参数
和
2
的，几种常见的选择方法是：
○
1
岭迹法：
选择
0
k
的点能使各岭估计基本稳定，
岭估计符号合理，
回
归系数没有不合乎经济意义的绝对值，且残差平方和增大不太多；
○
2
方差扩大因子法：
1
1
(
)
(
)
(
)
c
k
X
X
kI
X
X
X
X
kI
，其对角线元
(
)
jj
c
k
是岭估计的方差扩大因子。要让
(
)
10
jj
c
k
；
○
3
残差平方和：满足
(
)
SSE
k
cSSE
成立的最大的
k
值。
7.4
用岭回归方法选择自变量应遵循哪些基本原则？
答：
岭回归选择变量通常的原则是：
1.
在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这
样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回
归系数比较稳定且绝对值很小的自变量；
2.
当
k
值较小时，标准化岭回归系数的绝对值并不很小，但是不稳定，随
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
