多元线性回归的缺陷_多元线性回归常见问题

0.多元线性回归

多元线性回归是统计学中经常用到回归方法，一般需满足一下六个条件：

随机误差项是一个期望值或平均值为0的随机变量；

对于解释变量的所有观测值，随机误差项有相同的方差；

随机误差项彼此不相关；

解释变量是确定性变量，不是随机变量，与随机误差项彼此之间相互独立

解释变量之间不存在精确的(完全的)线性关系

随机误差项服从正态分布。

但以上六个条件算是比较严格的条件，在实践中大部分情况下难以满足。由于无法满足假设条件，因此多元线性回归也经常遇到多重共线性、自相关、异方差等问题。下面就总结下这三个常见的问题。

1.多重共线性

多重共线性是解释变量存在线性关系或者近似的线性关系，多重共线性影响的模型一般为底层是线性的模型，例如：回归、SVM等

如果变量间不存在多重共线性，则变量系数组成的矩阵应该是满秩的，且变量间不存在共线性不代表变量间不存在非线性关系

产生变量相关性的原因有很多，一般为经济变量之间的相同变化趋势，模型中包含滞后变量和截面数据等等

1.1多重共线性的检验

计算相关系数，因为相关系数是对线性相关的度量

对于线性回归来说，删除或者增加变量系数是不是有较大变化

系数的正负号是否与现实相违背

系数通不过显著性检验

变量之间做回归，计算可决系数和VIF=1/(1-可决系数)来度量，也称为方差扩大因子法

1.2多重共线性的影响后果

共线性使最小二乘法预估的参数不确定且估计值方差较大，方差较大又会导致参数的置信区间增大