残差分析（残差原理与标准化残差分析）

1、残差分析定义

在回归模型 中，假定 的期望值为0，方差相等且服从正态分布的一个随机变量。但是，若关于的假定不成立，此时所做的检验以及估计和预测也许站不住脚。确定有关的假定是否成立的方法之一是进行残差分析（residual analysis）.

2、残差与残差图

残差（residual）是因变量的观测值与根据估计的回归方程求出的预测  之差，用e表示。反映了用估计的回归方程去预测而引起的误差。第i个观察值的残差为： 

常用残差图：有关x残差图，有关的残差图，标准化残差图

有关x残差图：用横轴表示自变量x的值，纵轴表示对应残差 ，每个x的值与对应的残差用图上的一个点来表示。

分析残差图，首先考察残差图的形态及其反映的信息。

分析：

（a）对所有x值，的方差都相同，且描述变量x和y之间的回归模型是合理的，残差图中的所有点落在一条水平带中间。

（b）对所有的值，的方差是不同的，对于较大的x值，相应的残差也较大，违背了的方差相等的假设

（c）表明所选的回归模型不合理，应考虑曲线回归或多元回归模型。

3、标准化残差

对于正态性假定的检验，也可通过标准化残差分析完成。

标准化残差（standardized residual）是残差除以其标准差后得到的数值，也称Pearson残差或半学生化残差（semi-studentized residuals）,用表示。第i个观察值的标准化残差为：   (是残差的标准差的估计)

如果误差项  服从正态分布的这一假定成立，则标准化残差的分布也服从正态分布。大约有95%的标准化残差在 -2~2 之间。

从图中可以看出，除了箭头所标识的点外，所有的标准化残差都在 -2~2 之间，所以误差项服从正态分布的假定成立。