python数据分析与应用实训题答案第七章_应用回归分析第七章答案

第七章

岭回归

1.

岭回归估计是在什么情况下提出的？

答：当解释变量间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往

参数估计方差太大，使普通最小二乘法的效果变得很不理想，为了解决这一问题，统

计学家从模型和数据的角度考虑，采用回归诊断和自变量选择来克服多重共线性的影

响，这时，岭回归作为一种新的回归方法被提出来了。

2.

岭回归估计的定义及其统计思想是什么？

答：一种改进最小二乘估计的方法叫做岭估计。当自变量间存在多重共线性，∣

X'X

∣≈

0

时，我们设想给

X'X

加上一个正常数矩阵

kI(k>0),

那么

X'X+kI

接近奇异的程度小得

多，考虑到变量的量纲问题，先对数据作标准化，为了计算方便，标准化后的设计阵

仍然用

X

表示，定义为









1

ˆ

'

'

X

X

I

X

y













，称为



的岭回归估计，其中

k

称

为岭参数。

3.

选择岭参数

k

有哪几种主要方法？

答：选择岭参数的几种常用方法有

1.

岭迹法，

2.

方差扩大因子法，

3.

由残差平方和来

确定

k

值。

4.

用岭回归方法选择自变量应遵从哪些基本原则？

答：用岭回归方法来选择变量应遵从的原则有：

(

1

)在岭回归的计算中，我们假定设计矩阵

X

已经中心化和标准化了，这样可以直接

比较标准化岭回归系数的大小，我们可以剔除掉标准化岭回归系数比较稳定且绝对值

很小的自变量。

(

2

)当

k

值较小时标准化岭回归系数的绝对值并不是很小，但是不稳定，随着

k

的增

加迅速趋于零。像这样的岭回归系数不稳定

,

震动趋于零的自变量，我们也可以予以删

除。

(

3

)去掉标准化岭回归系数很不稳定的自变量，如果有若干个岭回归系数不稳定，究