异方差
异方差产生的原因
实际问题往往比理论情况要复杂的多,因此根据实际问题建立回归模型的时候,某些因素会随着解释变量x的变化而对被解释变量产生不同的影响,因此会导致误差项产生不同的方差,即异方差。
异方差的后果
(1)用最小二乘估计参数是仍是无偏估计,但不是最小方差线性无偏估计。
(2)对参数的显著性检验失效
(3)回归方程效果不理想
异方差的检验方法
残差图分析法
残差分析图,以残差e为纵坐标,选择其他变量作为横坐标画散点图,并根据散点图的规律判断是否存在异方差。
横坐标的选择通常有以下几种:
(1)被解释变量的拟合值y
(2)x(i),i = 1,……,p
(3)观测时间和序号
残差图往往会出现以下几种情况:
(1)回归模型满足所有假设条件,不存在异方差性:残差图的散点应该在一定范围内围绕在e=0上下波动,无规律。
(2)残差e随着x的增大而增大,或者随着x增大而减小,则说明回归模型存在异方差。
(3)残差e散点大体呈曲线形状,则可能代表y和x是非线性关系,当然也可能是变量y存在自相关性
(4)残差图出现蛛网现象,表示y存在自相关
等级相关系数法
即斯皮尔曼检验法,具体有三步
(1)做y对于x的最小二乘估计,求出每误差项的的估计值,即e
(2)取e的绝对值,并把x(i)和e的绝对值按照递增或者递减的次序排列后分成等级,计算等级相关系数
(3)对等级相关系数进行显著性检验
若t绝对值 <= t(a/2)(n-2),则说明异方差不存在;若t绝对值 >= t(a/2)(n-2),则说明x(i)和e的绝对值之间存在关系,即存在异方差。
(采用斯皮尔曼相关系数,而不采用皮尔逊相关系数,是因为皮尔逊一般只能反映线性情况,对变量的分布是有要的,而斯皮尔曼相关系数可以反映非线性相关情况)
异方差的消除
下图是用电高峰每小时用电量y与每月总用电量x的数据(部分)
(1)首先,判断回归方程是否存在异方差,以y为因变量,x为自变量建立回归模型画出它们的残差散点图
【分析】【回归】【线性】,输入因变量y和自变量x,点击右边的【保存】,勾选残差中的【未标准化】。
得到残差e后,以残差e为纵坐标,自变量x为横坐标绘出残差散点图:
(2)采用斯皮尔曼等级相关系数,则首先要先通过【转换】【计算变量】,计算出残差的绝对值
【分析】【相关】【双变量】,勾选斯皮尔曼
得到相关系数表如下图所示:
通过(1)中的残差图,我们可以看到残差e随着x的增大而增大,是具有异方差性的,而(2)中的斯皮尔曼相关系数也验证了这点,x与残差e的绝对值具有显著相关的关系。
加权最小二乘估计
首先,要确定我们所用的权函数是多少,即进行权重估算
【分析】【回归】【权重估算】,选中因变量y和自变量x,权重变量设置为x
(在多元线性回归方程中,存在多个自变量的时候,先判断每个自变量与残差e的绝对值的斯皮尔曼等级相关系数,选择相关系数最大的自变量作为权函数,计算幂指数m)
在得到对数似然函数表后,可以看到,幂指数m=1.5的时候对数似然函数达到了最大值,所以我们选择m=1.5作为幂指数
【转换】【计算变量】,输入公式:
【分析】【回归】【线性】,在【wls权重】选择我们刚刚计算出的权函数w
得到最终的回归方程后计算斯皮尔曼等级相关系数,判断是否消除了异方差,而通过斯皮尔曼相关系数可以看到,本次加权二乘估计并未完全消除异方差,于是进行方差稳定变换消除异方差性。
方差稳定变换
所谓方差稳定变化,其实即对原有y的数据开平方根,并且保存为一个新变量y1,通过y1与x构造回归模型计算出残差e,并根据残差e的绝对值和x做斯皮尔曼相关系数检验,判断是否显著相关,本例题中经过方差变换后e的绝对值和x不相关,即经过方差稳定变化后已消除异方差。