18 多元回归与模型回归

18 多元回归与模型回归

1.总体多元回归的定义

2.多元回归的指标

  对于一个二元的线性回归：$\hat{y}=b_0+b_1{x}_1+b_2{x}_2$我们说它的残差是 %y-\hat{y}$，。在一元线性回归中，我们说这是实际数据点与回归线之间的垂直距离，在多元回归中，我们说这是数据点和回归平面（或超平面）之间的垂直距离。此外，3类平方和还有R方依然可以使用：
$$\begin{gathered} \begin{array}{rl}\mathrm{S}\mathrm{S}\mathrm{E}& =\sum (y-\hat{y}{)}^2\\ \mathrm{S}\mathrm{S}\mathrm{R}& =\sum (\hat{y}-\overline{y}{)}^2\\ \mathrm{S}\mathrm{S}\mathrm{T}& =\sum (y-\overline{y}{)}^2\end{array} \\ {R}^2=\frac{\mathrm{S}\mathrm{S}\mathrm{R}}{\mathrm{S}\mathrm{S}\mathrm{T}} \end{gathered}$$
  我们给出方差分析表：

（测试统计F）
  看R方的变化，只要有新的预测变量加入模型时，R2的值总是会上升。如果新变量是有用的，则R’的值将会显著增加；如果新变量名不起作用，则R2值几乎不会有增加。
  看标准误差s的变化，它的变化和R方不一样。如果新加入的变量对预测变量有用的话，这个值就会减小，如果没用，就会增加。这就使得我们可以更好的考察是否该将某个值加入模型有很好的帮助。

3. 关于误差项的假设

①零均值假设。误差项 $\epsilon$ 是一个随机变量，其均值或期望值为0。换句话说， $E(\epsilon )=0$ 。
②常数方差假设。误差项$\epsilon$的方差定义为 ${\sigma }^2$，无论 $x_1,x_1,\dots ,x_m$ 取何值，均为常量。
③独立性假设。误差项 $\epsilon$ 的值具有独立性。
④正态假设。误差项 $\epsilon$ 是一个满足正态分布的随机变量。

4. 响应变量 y 行为假设的含义

①基于零均值假设，我们有：
$$\begin{array}{rl}E(y)& =E\left({\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_m{x}_m+\epsilon \right)\\ & =E\left({\beta }_0\right)+E\left({\beta }_1{x}_1\right)+\cdots +E\left({\beta }_m{x}_m\right)+E(\epsilon )\\ & ={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_m{x}_m\end{array}$$
即，对 $|x_1,x_1,\dots ,x_m$ 的每个值集， $y$ 的均值处于回归线上。
②基于方差为常数的假设，我们给出y的方差$Var(y)$：
$$\mathrm{Var}(y)=\mathrm{Var}\left({\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_m{x}_m+\epsilon \right)=\mathrm{Var}(\epsilon )={\sigma }^2$$
即，无论预测变量 $|x_1,x_1,\dots ,x_m$ 取何值，y的方差始终为常数。
③基于独立性假设，可得出，对， $|x_1,x_1,\dots ,x_m$ 的任意特定值集，$y$ 值也具有独立性。
④基于正态分布假设，可得出，$y$ 也是满足正态分布的随机变量。换句话说，响应变量 $y$，的值是独立的正态分布随机变量，其均值为：${\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\dots +{\beta }_m{x}_m$，方差为${\sigma }^2$。

5.多元回归推理

我们将验证如下5个推理方法：
①在存在其他预测变量 $x_{(i)}$ 的情况下，响应变量 $y$ 与特定预测变量 $x$ ，之间关系的 t-检捡。其中$x_{(i)}=x_1,x_2,\dots ,x_{i-1},x_{i+1},\dots ,+x_m$表示除 $x_i$ ，之外的所有预测变量集。
②总体回归显著性的 F-检验。
③第 $i$ 个预测变量斜率${\beta }_i$的置信区间。
④在给定特定预测变量值集石，$x_1,x_2,\dots ,x_m$时，响应变量 $y$ 均值的置信区间。
⑤在给定特定预测变量值集高，$x_1,x_2,\dots ,x_m$时，响应变量 $y$ 为随机变量取值时的预测区间。

6.y 与$x_i$之间的关系的 t-检验

该检验的假设如下：
$$\begin{array}{l}{H}_0:{\beta }_i=0\\ H_{{\mathrm{a}}^2}:{\beta }_i̸=0\end{array}$$
该假设所隐含的模型如下：
在 $H_0$ 情况下：${\beta }_0+{\beta }_1{x}_1+\cdots +0+\cdots +{\beta }_m{x}_m+\epsilon$
在 $H_1$ 情况下：${\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_i{x}_i+\cdots +{\beta }_m{x}_m+\epsilon$
  注意两个模型的唯一差别是有没有第 $i$ 项，除此以外，模型中其他项都是相同的。因此，对 t-检验结果的解释必须包括其他保持不变的预测变量作为参考。
  零假设情况下，检验统计量$t=\frac{b_i}{s_{b_i}}$，总满足自由度为 $n-m-1$ 的 t 分布，其中$s_{b_i}$表示第 $i$ 个预测变量斜率的标准误差。

7.多元回归 t-检验的例子

①含糖量与营养等级

• $H_0:{\beta }_1=0$模型：$y={\beta }_0+{\beta }_2(纤维含量)+\epsilon$。
• $H_{\mathrm{a}}:{\beta }_1̸=0$ 模型：$y={\beta }_0+{\beta }_1(含糖量)+{\beta }_2(纤维含量)+\epsilon$。
    图中，我们们可以看到 “Sugars”（含糖量） 的 Coedf列的值 $b_1=-2.2436$。
    在 “Sugars”（含糖量） 行的 SE Coedf 列可得到含糖量的斜率的标准误差值：$s_{b_1}=0.1632$
    在 “Sugars”（含糖量） 行的 T 列可得到 t-统计值， 即 t-检验的检验统计量，$t=\frac{b_1}{s_{b_1}}=\frac{-2.2436}{0.1632}=-13.75$。
    在 “Sugars”（含糖量） 行的 P 列可获得 t-统计量的 p-值。因为双尾检验，p-值按照以下形式获得：$p-值=P(|t|>|t_{obs}|)$，其中 $t_{obs}$ 表示回归结果 t-统计量的观察智。此处，$ p-值=P(|t|>|t_obs|)=P(|t|>|-13.75|)\approx 0.000KaTeX parse error: Expected 'EOF', got '&' at position 23: … p-值不会精确地等于 0。 &̲emsp; p-值方…p-值\cong 0$，比所有合理的显著性阀值都要小。因此结论为拒绝零假设。对该结论的解释是，在纤维含量存在的情况下，有证据表明营养等级与含糖量之间存在线性关系。
  ②纤维含量与营养等级
• $H_0:{\beta }_2=0$模型：$y={\beta }_0+{\beta }_1(含糖量)+\epsilon$。
• $H_{\mathrm{a}}:{\beta }_2̸=0$ 模型：$y={\beta }_0+{\beta }_1(含糖量)+{\beta }_2(纤维含量)+\epsilon$。
    图中，我们们可以看到 “Fibers（纤维含量）”的 Coedf列的值 $b_1=-2.8665$。
    在 “Fibers（纤维含量）”行的 SE Coedf 列可得到含糖量的斜率的标准误差值：$s_{b_2}=0.2979$。
    在 “Fibers（纤维含量）”行的 T 列可得到 t-统计值， 即 t-检验的检验统计量，$t=\frac{b_2}{s_{b_2}}=\frac{2.8665}{0.2979}=9.62$。
    在 “Fibers（纤维含量）”行的 P 列可获得 t-统计量的 p-值。同样$ p-值\approx 0.000$。据此，我们再次拒绝零假设。对此的解释为，在存在含糖量的情况下，有证据表明营养等级与纤维含量之间存在线性关系。

8.多元回归F-检验

营养等级 与 含糖量和纤维含量：

• $H_0$：${\beta }_1={\beta }_2=0$ 模型：$y= \beta_0 + \varepsilon $。
• $H_a$：${\beta }_1$ 和 ${\beta }_2$ 至少有一个不等于0。而$H_a$的隐含模型未定义，有以下可能：
  $$\begin{gathered} y={\beta }_0+{\beta }_1\left(\text{含糖量}\right)+\epsilon \\ y={\beta }_0+{\beta }_2\left(\text{纤维含量}\right)+\epsilon \\ y={\beta }_0+{\beta }_1\left(\text{含糖量}\right)+{\beta }_2\left(\text{纤维含量}\right)+\epsilon \end{gathered}$$
    从图中的“Regression”部分，所对应的MS列看到 MSR 的值为6094.3。
    “Residual Error”部分的MS列可以看到 MSE 的值为37.5。
    而F列那里可以看到 F-检验统计量$F=\frac{MSR}{MSE}=\frac{6094.3}{37.5}=162.32$。
    此处看到DF列，可以得到F-统计量的自由度：n-m-1=73。
    p-值近似等于零，远小于任何显著性阈值。因此，我们拒绝零假设。对该结论的解释如下。有证据表明营养等级与预测变量集、含糖量和纤维含量之间存在线性关系。
  更确切地说，总体回归模型是显著的。

9.特定系数${\beta }_i$的置信区间

  与简单线性回归类似，我们可以为某个特定系数 ${\beta }_i$构建$100(1-\alpha )$置信区间。如下所示，我们能够有$100(1-\alpha )$可信度认为某个特定系数${\beta }_i$，位于以下区间内：
$${\beta }_i\pm \left(t_{n-m-1}\right)\left(s_{b_1}\right)$$
  其中$t_{n-m-1}$自由度为 $n-m-1$，$s_{b_i}$表示第 $i$ 个系数估计的标准误差。
  例如，让我们为含糖量$x_1$的系数${\beta }_i$的实际值构建 $95$ 置信区间。上例中，点估计合出的值是${\beta }_1=-2.2436$。$95$ 置信度及 $n-m-1=73$ 自由度的t-关键值为$t_{n-m-1}=1.99$ 。系数古计的标准误差为$s_{b_i}=0.1632$。因此，可得置信区间为：
$$\begin{array}{rl}{\beta }_1& \pm \left(t_{n-m-1}\right)\left(s_h\right)\\ & =-2.2436\pm 1.99(0.1632)\\ & =(-2.57,-1.92)\end{array}$$
  我们有95%的置信度认为系数B1的值处于-2.57~-1.92之间。换句话说，当纤维含量保持不变时，含糖量每增加1克，营养等级将会减低1.92至2.57点。例如，假设某个营养研究师声称在纤维含量为常量的情况下，含糖量每增加1克，营养等级将会下降2点。因为-2.0处于95%置信区间内，因此我们可以认为其说法是正确的可能性为95%。