线性回归违背基本情况的假设-异方差、自相关、异常值

参考：
违背基本情况的假设-4.1-4.3异方差问题
违背基本情况的假设-4.4自相关问题
违背基本情况的假设-4.5异常值问题

---

1 违背基本情况的假设-异方差

  假定随机误差项 ${\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n$ 具有等方差，独立或不相关关系。
即G-M条件

违背基本假设的情况：

第一种情况：异方差
$$var({\epsilon }_i)\ne var({\epsilon }_j),i\ne j$$
第二种情况：自相关
$$cov({\epsilon }_i,{\epsilon }_j)\ne 0$$

1.1 异方差产生的原因

  由于实际问题具有错综复杂性，故在回归模型建模时，某一因素或一些因素随着解释变量观测值的变化而对被解释变量产生不同的影响，导致随机误差项产生不同方差。

## 1.2 异方差性带来的问题   当存在异方差时， 普通最小二乘估计存在以下问题：

$♢$ 参数估计值虽是无偏调度，但不是最小方差线性无偏估计；
 当异方差存在时，$D(\hat{\beta })$ 大于同方差条件下的方差。

$♢$ 参数的显著性检验失效；
  当异方差存在时，若继续用最小二乘估计来估计参数，将会低估 $D(\hat{\beta })$ ，进一步高估回归系数的 T 统计量的值，最后造成某些不显著的回归系数变显著。

$♢$ 回归方程的应用效果极不理想。

1.3 异方差性的检验

异方差检验方法：
1、残差图分析法
2、等级相关系数法（斯皮尔曼检验(Spearman)）

1.3.1 残差图分析法

a 图：不管 x 如何变化，方差始终在一定的范围内($\pm 3\sigma$)变化。
b图：随着 x 的变化，方差逐渐增大，出现了异方差性。

1.3.2 等级相关系数法（斯皮尔曼检验(Spearman)）

第一步：作 $y$ 关于 $x$ 的普通最小二乘回归，求出 ${\epsilon }_i$ 的估计值，即 $e_i$ 的值。

第二步：取 $e_i$ 的绝对值，即 |$e_i$| 的，把 $x_i$ 和 |$e_i$| 按递增或递减的次序排列后分成等级，然后计算 $x_i$ 和 |$e_i$| 的等级差数 $d_i$，再按下式计算出等级相关系数
$$r_s=1-\frac{6}{n(n^2-1)}\sum _{i=1}^n{d}_i^2$$
其中 $n$ 为样本容量。

第三步：做等级相关系数的显著性检验。
 在 $n>8$ 的情况下，用下式对样本等级相关系数 $r_s$ 进行 $t$ 检验
$$H_0:r_s=1,H_1:r_s\ne 0$$
检验统计量为$$t=\frac{\sqrt{n-2}{r}_s}{\sqrt{1-r_s^2}}$$
如果 $t\le t_{\alpha /2}(n-2)$，接受原假设，认为异方差问题不存在。
如果 $t>t_{\alpha /2}(n-2)$，拒绝原假设，认为异方差问题存在。

   在实际应用中，简单相关系数和等级相关系数该如何选择？

1、与简单相关系数相比，等级相关系数更能准确地反映非线性相关的情况；

2、等级相关系数可以如实反映单调递增或单调递减趋势变量间的相关性，而简单相关系数只适宜于衡量直线趋势变量间的相关性。

1.4 误差项的异方差问题解决方法

  如何解决误差项的异方差问题呢？常见的方法有：加权最小二乘法，Box-Cox变换法，方差稳定性变换法。

1.4.1一元加权最小二乘估计(WLS)

  一元线性回归，普通最小二乘法的离差平方和为

$$Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n[y_i-E(y_i){]}^2=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2(4.3)$$
其中，每个观测值的权数相同。

  在等方差条件下，平方和中的每一项的地位是相同的。

  然而在异方差条件下，平方和中每一项的地位是不同的，误差项方差大的项，在(4.3)式平方和中的作用就偏大，因而普通最小二乘估计的回归线就被拉向方差大的项，而方差小的项的拟合程度就差。

  加权最小二乘估计的方法就是在平方和中加入一个适当的权数，以调整各项在平方和中的作用。
  若 ${\omega }_i$ 为给定的第 $i$ 个观测值的权数。一元线性回归的加权最小二乘法的离差平方和为

$$Q_{\omega }({\beta }_0,{\beta }_1)=\sum _{i=1}^n{\omega }_i[y_i-E(y_i){]}^2=\sum _{i=1}^n{\omega }_i(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2(4.4)$$

$m$ 次方的$m$应该取多少呢？是用极大似然估计法，如何能够使加权后二乘估计是最小的，$m$ 就取多少。





WLS 缺点

(1) WLS照顾小残差项是以牺牲大残差项为代价。即WLS是以牺牲大方差项的拟合效果为代价改进了小方差项的拟合效果。

(2) 当异方差性存在时，WLS只是对OLSE的细微改进。

（3）在一些特定场合，几时存在异方差性，也可选择OLSE。

1.4.2 多元加权最小二乘法

  设有多远线性回归模型
$$y_i={\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip}+{\epsilon }_{i}i=1,2,\cdots ,n$$
当误差项 ${\epsilon }_i$ 存在异方差时，加权离差平方和为

$$Q_{\omega }=\sum _{i=1}^n{\omega }_i(y_i-{\beta }_0-{\beta }_1{x}_{i1}-{\beta }_2{x}_{i2}-\cdots -{\beta }_p{x}_{ip}{)}^2$$
其中，${\omega }_i$ 为给定的第 $i$ 个观测值的权数。

  加权最小二乘法就是寻找参数${\beta }_0,{\beta }_1,{\beta }_2,\cdots ,{\beta }_p$ 的估计值，使 $\widehat{{\beta }_{0\omega }},\widehat{{\beta }_{1\omega }},\widehat{{\beta }_{2\omega }},\cdots ,\widehat{{\beta }_{p\omega }}$ 达到最小。即求 $Q_{\omega }$ 的最小值点。

2 违背基本情况的假设-自相关

2.1 自相关性产生的背景和原因

自相关性产生的背景和原因

1、遗漏关键变量是会产生序列的自相关性；
2、经济变量的滞后性会给序列带来自相关性；
3、采用错误的回归函数形式也可能引起自相关；
4、蛛网现象可能带来序列的自相关性；
5、因对数据加工整理而导致误差项之间产生自相关性。

简单来说自相关是指：不同样本残差项之间有一定的相关关系。正相关或者负相关。

2.2 自相关带来的问题

  一般情况下，序列自相关会给OLSE带来下列问题：

1、参数的估计值不再具有最小方差线性无偏性。

2、均方误差 MSE可能严重低估误差项的方差。
3、容易导致对 $t$ 值评价过高，常用的 $F$ 检验和 $t$ 检验失效.

4、当存在序列相关时， $\hat{\beta }$ 仍然是 $\beta$ 的无偏估计，但在一特定的样本中，$\hat{\beta }$ 可能严重歪曲 $\beta$ 的真实情况。

5、模型应用出错或应用效果不好。

2.3 自相关的诊断

自相关的诊断方法：
1、图示检验法
 （1）绘制 $e_t,e_{t-1}$ 的散点图
 （2）按照时间顺序绘制回归残差项 $e_i$ 的图形

2、自相关系数法

3、DW 检验

2.3.1 图示检验法

图4.3中 a 图与b 图均显示残差具有自相关性。

图4.3中 a 图与b 图均显示残差具有自相关性。

2.3.2 自相关系数法

  误差项序列 ${\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n$ 的自相关系数定义为

自相关系数 $\rho$ 的取值范围是[-1,1]。
当 $\rho$ 接近1时，表明误差序列存在正相关；
当 $\rho$ 接近-1时，表明误差序列存在负相关；

  在实际应用中，误差序列 ${\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n$ 的真实值是未知的，一般用其估计值误差项序列 $e_1,e_2,\cdots ,e_n$ 代替，得自相关系数的估计值为：

$\hat{\rho }$ 作为自相关系数 $\rho$ 的估计值与样本量有关，需要做统计显著性检验才能确定自相关存在，通常采用DW检验代替对 $\hat{\rho }$ 的检验。

2.3.3 DW检验

  DW检验只适用于小样本、检验随机扰动项具有一阶自回归形式的序列相关问题。随机扰动项的一阶自回归形式为

$${\epsilon }_t=\rho {\epsilon }_{t-1}+u_t$$

检验序列相关性的原假设为：
$$H_0:\rho =0$$

由上述讨论可知，DW的取值范围为：
$$0\le DW\le 4$$

  根据样本容易得到 $n$ 和解释变量的数目 $k$ （这里包括常数项）查DW 分布表，得到临界值 $d_L$ 和 $d_U$ ，然后依下列准则考察计算得到的 DW 值，以决定模型的自相关状态。




若 DW值 落在 $(d_L,d_U)$ 或 $(4-d_U,d_L)$ 无法判断是否具有自相关性，由$$DW\approx 2(1-\hat{\rho })$$得

$$\hat{\rho }\approx 1-\frac{1}{2}DW$$

统计 $\hat{\rho }$，然后用 $\hat{\rho }$来判断。

**DW检验的缺点和局限性：**

1、DW 有两个不能确定的区域，一旦 DW 值落在这两个区域，就无法判断。这时。只有增大样本容量或选取其他方法；

2、DW 统计量的上、下界表要求 $n>15$ ，这是因为样本如果再小，利用残差就很难对自相关的存在性作出比较准确的诊断；

3、DW 检验只适应于一阶序列相关的检验，不适应随机项具有高阶序列相关的检验。

2.4 自相关问题的处理方法

自相关问题的处理方法

1、迭代法
2、差分法

2.4.1 迭代法

2.4.2 差分法

注：只有 $\rho =1$或接近1时，才能用差分法。一般很理想的状态才会有，一般情况下不会等于1。

一阶差分法的适用条件：
  自相关系数 $\rho$ ,在实际应用中，当自相关系数接近1时就采用差分法，而不用迭代法。

自相关系数接近1时采用差分法而不用迭代法的原因：

1、迭代法需要用样本估计自相关系数，而对自相关系数的估计误差会影响迭代法的使用效率；

2、差分法比迭代法简单，人们在建立时序数据的回归模型时，更习惯于用差分法。

注：迭代法和差分法效果好于普通最小二乘的效果，但差分法的效果低于迭代法的效果。

3 异常值与强影响点

  在回归分析的应用中，数据时常包含着一些异常的或极端的观测值，这些观测值与其他数据远远分开，可能引起较大的残差，极大地影响着回归拟合效果。

  在一元回归的情况下，用散点图或残差图就可以方便地识别出异常值，而在多元回归情况下，用简单画图法很难识别异常值。

  异常值分两种情况：

因变量 y 异常， 自变量 x 异常。

3.1 关于因变量 $y$ 的异常

  残差分析中，认为超过 $\pm 3\hat{\sigma }$ 的残差为异常值。

由于普通残差 $e_1,e_2,\cdots ,e_n$ 的方差
$$D(e_i)=(1-h_{ii}){\sigma }^2$$
不等。其中，$h_{ii}$ 为帽子矩阵 $H=X(X^{{}^{\prime }}X{)}^{-1}{X}^{{}^{\prime }}$ 的主对角线元素。

因此，用普通残差作判断会与实际有所不符，如何处理？？？

类似于医院线性回归，在多元线性回归中，同样可以引入 标准化残差和学生化残差。以改进普通残差的性质。

标准化残差 $$ZR{E}_i=\frac{e_i}{\hat{\sigma }}$$
当 |$ZR{E}_i|>3$ ，就认为是异常值，但是标准化残差没有解决方差不等问题。

  为了解决方差不等问题，提出了学生化残差

$$SR{E}_i=\frac{e_i}{\hat{\sigma }\sqrt{1-h_{ii}}}$$
当 |$SR{E}_i|>3$ ，就认为是异常值。

  当观测值中存在关于 $y$ 的异常值是，普通残差、标准化残差、学生化残差均不适用。

  由于异常值把回归线拉向自身，使异常值本身的残差减少，而其余观测值的残差增大，这时回归标准差 $\hat{\sigma }$ 也会增大，因而用 “3$\hat{\sigma }$ ” 的准则不能准确分辨出异常值。这时需要用到删除残差法。

删除残差的构造思想：
  在计算第 $i$ 个观测值的残差时，用删除掉这第 $i$ 个观测值的其余 $n-1$ 个观测值拟合回归方程，计算出第 $i$ 个观测值的