多元线性回归的缺陷_多元线性回归常见问题

0.多元线性回归

多元线性回归是统计学中经常用到回归方法,一般需满足一下六个条件:

随机误差项是一个期望值或平均值为0的随机变量;

对于解释变量的所有观测值,随机误差项有相同的方差;

随机误差项彼此不相关;

解释变量是确定性变量,不是随机变量,与随机误差项彼此之间相互独立

解释变量之间不存在精确的(完全的)线性关系

随机误差项服从正态分布。

但以上六个条件算是比较严格的条件,在实践中大部分情况下难以满足。由于无法满足假设条件,因此多元线性回归也经常遇到多重共线性、自相关、异方差等问题。下面就总结下这三个常见的问题。

1.多重共线性

多重共线性是解释变量存在线性关系或者近似的线性关系,多重共线性影响的模型一般为底层是线性的模型,例如:回归、SVM等

如果变量间不存在多重共线性,则变量系数组成的矩阵应该是满秩的,且变量间不存在共线性不代表变量间不存在非线性关系

产生变量相关性的原因有很多,一般为经济变量之间的相同变化趋势,模型中包含滞后变量和截面数据等等

1.1多重共线性的检验

计算相关系数,因为相关系数是对线性相关的度量

对于线性回归来说,删除或者增加变量系数是不是有较大变化

系数的正负号是否与现实相违背

系数通不过显著性检验

变量之间做回归,计算可决系数和VIF=1/(1-可决系数)来度量,也称为方差扩大因子法

1.2多重共线性的影响后果

共线性使最小二乘法预估的参数不确定且估计值方差较大,方差较大又会导致参数的置信区间增大

回归显著但是回归系数通不过检验,甚至会出现回归系数的正负号的不到合理的解释

但是如果遇到必须使用这些变量度量且为了预测Y,则可以对这些变量进行线性组合

1.3多重共线性的处理方法

删除变量--这个方法一般不推荐使用,因为删除变量会导致异方差增大,异方差后面会讲到

增加样本容量--这个好像现实中也不是很好实现,毕竟能用的数据肯定都会用的,时效性不强的也没太大用

变换模型--对数据求差分;计算相对指标;吧相关变量做线性组合,即小类合并成大类;----比较靠谱的做法

逐步回归----常用方法,添加删除变量之后做可决系数、F检验和T检验来确定是否增加或者剔除变量,若果增加变量对这些指标的影响较小,也认为指标为多余的,如果增加指标引起R和F的变动且通不过T检验,说明存在共线性---常常使用的方法

岭回归---但是岭回归的参数k不好选择,k的选择严重影响方差和偏倚程度

2.异方差性

什么是异方差呢,我们前面写线性回归的时候说过,做线性回归应假定随机扰动项满足l平均值和同方差,同方差表示的是所有变量对其均值的分散程度相同,由于u=0,所以也可以说是Y围绕回归线均值的分散程度,但是如果u对不同x呈现的离散程度不同,则称u具有异方差性,也就是被解释变量的观测值分散程度随着解释变量的变化而 变化,也可以说异方差是某个解释变量引起的

2.1产生异方差的原因

模型的设定(例如多重共线性变量的删除,但是变量与y具有相关性,也会产生异方差)

测量误差和截面数据的影响

2.3异方差的影响

存在异方差将不能保证最小二乘法估计的方差最小,但是模型的拟合依然是无偏性和一致性,但不具有有效性,即不具有最小方差

异方差会导致参数的方差增大,如果还是使用不存在异方差时的方法进行估计,则会低估参数方差

破坏t检验和f检验的有效性

image

由于参数估计不满足方差最小,所以不是有效的,则对Y的预测也是无效的

2.4异方差的检验

相关图检验---观察随着x的增加y的离散程度是否增加,如果增加说明存在递增的异方差

残差图分析

image

image

image

White检验

基本思想是如果存在异方差,x与u存在相关关系,所以white检验不但可以检验异方差,还可以检验时哪个变量导致的异方差,但该方法要求大样本,但是解释变量过多又会导致丧失自由度,所以一般用u与预测值y和y的平方做回归,用F检验检验是否存在异方差,H0所有系数为0不存在异方差,否则存在异方差

2.5异方差的处理

加权最小二乘法

方差越小,样本偏离均值的程度越小,越重视,权重越大,否则越小,一般权重使用1/x,1/x2,1/根号x

模型对数变换,log之后缩小了异方差的范围

3.自相关

自相关即u存在自相关,即cov(u)不等于0,不满足线性回归的假定

3.1自相关产生的原因

经济活动滞后和经济系统的惯性

3.2自相关的后果

存在自相关将不能保证最小二乘法估计的方差最小,但是模型的拟合依然是无偏性和一致性,但不具有有效性,即不具有最小方差,所以估计的参数不是最佳线性无偏估计

低估真实的方差会导致高估t检验的值,夸大参数显著性,本来不重要的变量会变为重要的变量,失去t检验的意义

方差的变大导致预测变量的区间增加,降低了预测的精度

3.3自相关的检验

残差图---et与e(t-1)的相关图

DW检验

但是DW检验的前提条件较多,首先需要u为一阶自回归,而且回归必须存在常数项

image

image

image

image

3.4自相关的处理

差分法

科克伦--奥克特迭代

基本思想是对变量回归,求残差u,u=相关系数*u(t-1)+随机扰动项

然后根据计算出来的相关系数做差分,yt-相关系数y(t-1)=yt

用yt和xt做回归

然后令最终计算的参数=上一步计算的参数/(1-上一步的相关系数)

迭代直到两次相关系数相差很小时作为最佳的相关系数

相关推荐

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页

打赏作者

几深老李

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值