多元线性回归分析理论详解及SPSS结果分析

当影响因变量的因素是多个时候，这种一个变量同时与多个变量的回归问题就是多元回归，分为：多元线性回归和多元非线性回归。这里直说多元线性回归。对比一元线性回归：

1.1多元回归模型：

$$y=\beta_{0}+\beta_{1}x_{1}+\beta_{2}x_{2}+\ldots+\beta_{k}x_{k}+\varepsilon$$

1.2多元回归方程

$$E(y)=\beta_{0}+\beta_{1}x_{1}+\beta_{2}x_{2}+\ldots+\beta_{k}x_{k}$$

1.3估计的多元回归方程

$$\hat{y}=\hat{\beta_{0}}+\hat{\beta_{1}}x_{1}+\hat{\beta_{2}}x_{2}+\ldots+\hat{\beta_{k}}x_{k}$$
2.1**对参数的最小二乘法估计：**
和一元线性回归中提到的最小二乘法估计一样、这不过这里的求导变量多了点、原理是一样的、这里需要借助计算机求导、就不写了。

3 回归方程的拟合优度：

3.1 多重判定系数：(Multiple coefficient of determination)

$$R^{2}=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$
注解：
(1 ) 对于多重判定系数有一点特别重要的需要说明：自变量个数的增加将影响到因变量中被估计的回归方程所解释的变量数量。当增加自变量时，会使预测误差变得较小，从而减小残差平方和 $SSE$。自然就会是 $SSR$变大。自然就会是 $R^{2}$变大。这就会引发一个问题。如果模型中增加一个自变量，即使这个自变量在统计上并不显著， $R^{2}$的值也会变大。因此为了避免这个问题。提出了 调整的多种判定系数(adjusted multiple coefficient of determination):
$$R^{2}_{a}=1-(1-R^{2})(\frac{n-1}{n-k-1})$$
$R^{2}_{a}$ 同时考虑了样本量 $(n)$ 和模型中自变量的个数 $(k)$ 的影响，这就使得 $R^{2}_{a}$ 的值永远小于 $R^{2}$，而且 $R^{2}_{a}$ 的值不会因为模型中自变量的个数增多而逐渐接近于 $1$.
(2 ) $R^{2}$ 的平方根成为多重相关系数，也称为复相关系数， 它度量了因变量同 $k$ 个自变量的相关程度。
3.2 估计标准误差
同一元线性回归一样，多元回归中的估计标准误差也是误差项 $\varepsilon$ 的方差 $\sigma^{2}$ 的一个估计值，
$$s_{e}=\sqrt{\frac{SSE}{n-k-1}}=\sqrt{MSE}$$

4. 显著性检验

在此重点说明，在一元线性回归中，线性关系的检验 $(F检验)$ 和回归系数的检验 $(t检验)$ 是等价的。 但是在多元回归中，线性关系的检验主要是检验因变量同多个自变量线性关系是否显著，在 $k$ 个自变量中，只要有一个自变量与因变量的线性关系显著， $F检验$ 就能通过，但这不一定意味着每个自变量与因变量的关系都显著。回归系数检验则是对每个回归系数分别进行单独的检验，它主要用于检验每个自变量对因变量的影响是否都显著。如果某个自变量没有通过检验，就意味着这个自变量对因变量的影响不显著，也许就没有必要将这个自变量放进回归模型中。
4.1 线性关系的检验
步骤：
（1）：提出假设

$$H_{0}:\beta_{1}=\beta_{2}=\ldots=\beta_{k}=0$$
$$H_{1}:\beta_{1},\beta_{2},\ldots=\beta_{k}至少有一个不等于0$$
（2）：计算检验的统计量F.
$$F=\frac{SSR/k}{SSE/(n-k-1)}\approx F(k,n-k-1)$$
（3）：作出统计决策。
4.2 线性关系的检验
步骤：
（1）：提出假设
$$H_{0}:\beta_{i}=0$$
$$H_{1}:\beta_{i}\neq0$$
（2）：计算检验的统计量F.
$$t_{i}=\frac{\hat{\beta_{i}}}{s_{\hat{\beta_{i}}}}\approx t(n-k-1)$$
（3）：作出统计决策。

5.1 多重共线性

多重共线性：当回归模型中两个或两个以上的变量彼此相关时，则称回归模型中存在多重共线性。
多重共线性的判别：
（1）模型中中各对自变量之间显著相关
（2）当模型的线性关系检验 $(F 检验)$ 显著时，几乎所有的回归系数 $\beta_{i}$ 的 $t$ 检验却不显著。
（3）回归系数的正负号与预期的相反。
（4）容忍度(tolerance) 与 方差扩大因子(variance inflation factor, VIF).
容忍度：某个变量的容忍度等于 1 减去该自变量为因变量而其他 $k-1$ 个自变量为预测变量时所得到的线性回归模型的判定系数。即 $1-R^{2}_{i}$。 容忍度越小，多重共线性越严重。通常认为 容忍度小于 0.1 时，存在严重的多重共线性。
方差扩大因子：容忍度的倒数。 因此，$VIF$ 越大，多重共线性越严重，一般认为 $VIF$ 的值大于10时，存在严重的多重共线性。

5.2 多重共线性的处理

常见的两种办法：
（1）将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关。
（2）如果要在模型中保留所有的自变量，那么应该：
（2.1）避免根据 $t$统计量对单个参数 $\beta$ 进行检验，
（2.2）对因变量 $y$ 值的推断（预测和估计）限定在自变量样本值的范围内。

5.3选择变量避免共线性的几种方式，

在建立回归模型时，我们总是希望用最少的变量来说明问题，选择自变量的原则通常是对统计量进行显著性检验，检验的根据是：将一个或一个以上的自变量引入回归模型中时，是否使残差平方和 $(SSE)$ 显著减少，如果增加一个自变量使残差平方和 $(SSE)$ 显著减少，则说明有必要将这个变量引入回归模型中，否则，没有必要将这个变量引入回归模型中。确定在模型中引入自变量 $x_{i}$ 是否使残差平方和 $(SSE)$ 显著减少的方法，就是使用 $F$ 统计量的值作为一个标准，以此来确定在模型中增加一个自变量，还是从模型中剔除一个自变量。
变量选择方式：
5.3.1 向前选择;
第一步： 对 $k$ 个自变量分别与因变量 $y$ 的一元线性回归模型，共有 $k$ 个，然后找到 $F$ 统计量的值最大的模型及其自变量 $x_{i}$ 并将其首先引入模型。
第二步： 在已经引入模型的 $x_{i}$ 的基础上，再分别拟合 $x_{i}$ 与模型外的 $k-1$ 个自变量的线性回归模型，挑选出 $F$ 值最大的含有两个自变量的模型， 依次循环、直到增加自变量不能导致 $SSE$ 显著增加为止，
5.3.2向后剔除
第一步：先对所有的自变量进行线性回归模型。然后考察 $p<k$ 个去掉一个自变量的模型，使模型的SSE值减小最少的自变量被挑选出来从模型中剔除，
第二步：考察 $p-1$ 个再去掉一个自变量的模型，使模型的SSE值减小最少的自变量被挑选出来从模型中剔除，直到剔除一个自变量不会使SSE值显著减小为止，这时，模型中的所剩自变量自然都是显著的。
5.3.3逐步回归
是上面两个的结合、考虑的比较全，以后就用这个就可以。

---

具体的分析过程、咱们以spss的多元回归分析结果为例。