多元线性回归剔除无关变量_多元线性回归中多重共线问题的解决方法综述

多元线性回归中多重共线问题的解决方法综述

摘

要

在回归分析中，

当自变量之间出现多重共线性现象时，

常会严重影响到参数估计，

扩大

模型误差，

并破坏模型的稳健性，

因此消除多重共线性成为回归分析中参数估计的一个重要

环节。

现在常用的解决多元线性回归中多重共线性的回归模型有岭回归

(

Ridge Regression

)

、

主成分回归

(Principal

Component

Regression

简记为

PCR)

和偏最小二乘回归

(Partial

Least

Square Regression

简记为

PLS)

。

关键词：多重共线性；岭回归；主成分回归；偏最小二乘回归

引言

在多元线性回归分析中，变量的多重相关性会严重影响到参数估计，增大模型误差，并

破坏模型的稳健性

由于多重共线性问题在实际应用中普遍存在，并且危害严重，因此设法

消除多重性的不良影响无疑具有巨大的价值常用的解决多元线性回归中多重共线问题的回

归模型主要有主成分回归岭回归以及偏最小二乘回归。

1

、

多元线性回归模型

1.1

回归模型的建立

设

Y

是一个可观测的随机