统计学 一元线性回归

统计学 一元线性回归

回归（Regression）：假定因变量与自变量之间有某种关系，并把这种关系用适当的数学模型表达出来，利用该模型根据给定的自变量来预测因变量

• 线性回归：因变量和自变量之间是线性关系

• 非线性回归：因变量和自变量之间是非线性关系

变量间的关系

变量间的关系：往往分为函数关系和相关关系；函数关系是确定的关系（例如 $y=x^2$ 中 $y$ 和 $x$ 的关系），而相关关系是不确定的关系（例如家庭储蓄额和家庭收入）

相关系数：度量两个变量之间线性关系强度的统计量，样本相关系数记为 $r$ （也称为 Pearson 相关系数），总体相关系数记为 $\rho$ ：
$$r=\frac{\sum (X-\bar{X})(Y-\bar{Y})}{\sqrt{\sum (X-\bar{X}{)}^2\cdot \sum (Y-\bar{Y}{)}^2}}$$

• $r\in [-1,1]$ ，越接近 $1$ 代表两个变量之间正线性相关关系越强，越接近 $-1$ 代表两个变量之间负线性相关关系越强，等于 $0$ 表示两个变量之间不存在线性关系；
• $r$ 具有对称性，即 $r_{XY}=r_{YX}$ ；很显然，若 $X$ 与 $Y$ 之间是线性关系，那么 $Y$ 和 $X$ 之间也是线性关系；
• $r$ 不具有量纲，对 $X$ 和 $Y$ 的缩放不敏感，其数值大小与 $X$ 和 $Y$ 的尺度以及原点无关；
• $r$ 不能用于描述非线性关系，可以结合散点图得出结论；
• $r$ 是两个变量之间线性关系的度量，但不一定意味着 $X$ 与 $Y$ 有因果关系。

相关系数的检验：采用 R.A.Fisher 提出的 t 分布检验，既可用于小样本，也可用于大样本：

① 提出假设：$H_0$ ：$\rho =0$ ；$H_1$ ：$\rho =1$ ；

② 计算样本相关系数 $r$ 以及检验统计量 $t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}\sim t(n-2)$

③ 算出 $P$ 值，进行决策

一元线性回归模型的估计

一元回归：当回归分析只涉及一个自变量时称为一元回归

回归模型：描述因变量 $y$ 如何依赖于自变量 $x$ 和误差项 $\epsilon$ 的方程；一元线性回归模型可表示为：
$$y={\beta }_0+{\beta }_{1}x+\epsilon$$
模型参数为 ${\beta }_0$ 和 ${\beta }_1$ ；随机变量 $\epsilon$ 被称为误差项，对其需要作出以下假定：

• 正态性：$\epsilon$ 服从期望为 0 的正态分布；
• 方差齐性：对于所有的 $X$ 值，$\epsilon$ 的方差值 ${\sigma }^2$ 都相同；
• 独立性：两个不同 $X$ 值对应的 $\epsilon$ 不相关

估计的回归方程：总体的 ${\beta }_1$ 和 ${\beta }_0$ 是未知的，需要用样本数据去估计，为：$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$ （$\widehat{{\beta }_1}$ 称为回归系数）

最小二乘法：使离差 $|\hat{y}-y|$ 的平方和最小的估计方法，即：
$$Q=\sum (y_i-{\hat{y}}_i{)}^2=\sum (y_i-{\hat{\beta }}_0-\widehat{{\beta }_1}{x}_i{)}^2=min$$
求导得到：
$$\{\begin{array}{l}\frac{\partial Q}{\partial {\beta }_0}{|}_{{\beta }_0={\hat{\beta }}_0}=-2\sum (y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)=0\\ \frac{\partial Q}{\partial {\beta }_1}{|}_{{\beta }_1={\hat{\beta }}_1}=-2\sum x_i(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)=0\end{array}$$
解得：
$$\{\begin{array}{l}{\hat{\beta }}_1=\frac{\sum (x-\bar{x})(y-\bar{y})}{\sum (x-\bar{x}{)}^2}\\ \widehat{{\beta }_0}=\bar{y}-{\hat{\beta }}_1\bar{x}\end{array}$$
（最小二乘法得到的回归直线通过样本平均点 $(\bar{x},\bar{y})$ ）

一元线性回归模型的判优

拟合优度：回归直线与各观测点的接近程度称为模型的的拟合优度，评价拟合优度的一个重要统计量就是决定系数

变差：因变量的取值的波动称为变差，变差的产生来自两个方面：

• 由于自变量的取值不同造成的
• 自变量以外的随机因素的影响

总平方和：$n$ 次观测值的总变差可以由这些变差的平方和来表示，称为总平方和（SST），$SST=\sum (y_i-\bar{y}{)}^2$ ；总平方和可以分解为：
$$SST=\sum (y_i-{\hat{y}}_i+{\hat{y}}_i-\bar{y}{)}^2=\sum (y_i-{\hat{y}}_i{)}^2+\sum ({\hat{y}}_i-\bar{y}{)}^2-2\sum (y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})$$
可以证明 $2\sum (y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})=0$ ，所以总平方和实际上表现为两个部分：
$$\{\begin{array}{l}SST=\sum (y_i-{\hat{y}}_i{)}^2+\sum ({\hat{y}}_i-\bar{y}{)}^2\\ SSR=\sum ({\hat{y}}_i-\bar{y}{)}^2\\ SSE=\sum (y_i-{\hat{y}}_i{)}^2\end{array}$$

• 回归平方和（SSR）：反映了 $y$ 的总变差中由于 $x$ 和 $y$ 的线性关系引起的 $y$ 的变化部分，是可以由回归直线来解释的 $y_i$ 的变差部分
• 残差平方和（SSE） ：是实际观测点与回归值的离差平方和，表示除了 $x$ 对 $y$ 的线性影响之外的其他随机因素对 $y$ 的影响

决定系数：又称判定系数，记为 $R^2$ 模型拟合的好坏取决于回归平方和 SSR 占总平方和 SST 的比例，越大则直线拟合得越好：
$$R^2=\frac{SSR}{SST}=\frac{\sum ({\hat{y}}_i-\bar{y}{)}^2}{\sum (y_i-\bar{y}{)}^2}$$

在一元线性回归中，相关系数 $r$ 是决定系数 $R^2$ 的平方根

估计标准误差：即残差的标准差 $s_e$，是对误差项 $\epsilon$ 的标准差 $\sigma$ 的估计，反映了实际观测值 $y_i$ 与回归估计值 ${\hat{y}}_i$ 之间的差异程度，$s_e$ 越小，则直线拟合得越好：
$$s_e=\sqrt{\frac{SSE}{n-2}}=\sqrt{\frac{\sum (y_i-{\hat{y}}_i{)}^2}{n-2}}$$

一元线性回归模型的显著性检验

线性关系检验

线性关系检验：也称为 $F$ 检验，用于检验自变量 $x$ 和因变量 $y$ 之间的线性关系是否显著，它们的关系是否能用一个线性模型 $y={\beta }_0+{\beta }_{1}x+\epsilon$ 来表示。

• SSR 的自由度为自变量 $k$ （这里一元线性回归所以 $k=1$ ），其除以自由度后得到回归均方（MSR）
• SSE 的自由度为 $n-k-1$ （这里一元线性回归所以 $n-2$），其除以自由度后得到残差均方（MSE）

① 提出检验假设：

• $H_0$ ：${\beta }_1=0$ （两个变量之间的线性关系不显著）
• $H_1$ ：${\beta }_1\ne 0$ （两个变量之间的线性关系显著）

② 计算检验自变量为
$$F=\frac{SSR/1}{SSE/(n-2)}=\frac{MSR}{MSE}\sim F(1,n-2)$$
③ 做出决策，确定显著性水平 $\alpha$ ，根据自由度 $d{f}_1=1$ 和 $d{f}_2=n-2$ 得到 $P$ 值，与 $\alpha$ 进行比较

回归系数的检验和推断

回归系数检验：也称为 t 检验，用于检验自变量对因变量的影响是否显著；在一元线性回归模型中，回归系数检验和线性关系检验等价，而在多元线性回归中这两种检验不再等价。其检验假设为：

• $H_0$ ：${\beta }_1=0$ （自变量对因变量的影响不显著）
• $H_1$ ：${\beta }_1\ne 0$ （自变量对因变量的影响显著）

$\widehat{{\beta }_1}$ 和 $\widehat{{\beta }_0}$ 也是随机变量，它们有自己的抽样分布，统计证明，$\widehat{{\beta }_1}$ 服从正态分布，期望 $E(\widehat{{\beta }_1})={\beta }_1$ ，标准差的估计量为：（$s_e$ 为估计标准误差）
$$s_{\widehat{{\beta }_1}}=\frac{s_e}{\sqrt{\sum x_i^2-\frac{1}{n}(\sum x_i{)}^2}}$$

（这个 $s_{\widehat{{\beta }_1}}$ 的分母太搞了，实际上等价于 $s_{{\hat{\beta }}_1}=\frac{s_e}{\sqrt{\sum (x_i-\bar{x}{)}^2}}$ ）

将回归系数标准化，就可以得到用于检验回归系数 $\widehat{{\beta }_1}$ 的统计量 $t$ ，在原假设成立的条件下，$\widehat{{\beta }_1}-{\beta }_1=\widehat{{\beta }_1}$ ，因此检验统计量为：
$$t=\frac{\widehat{{\beta }_1}}{s_{\widehat{{\beta }_1}}}\sim t(n-2)$$
除了对回归系数进行检验外，还可以得到置信区间，回归系数 ${\beta }_1$ 在置信水平为 $1-\alpha$ 下的置信区间为：
$$\left(\widehat{{\beta }_1}\pm t_{\alpha /2}(n-2)\frac{s_e}{\sqrt{\sum (x_i-\bar{x}{)}^2}}\right)$$
还可以得到截距 ${\beta }_0$ 的 $1-\alpha$ 置信区间为：
$$\left(\widehat{{\beta }_0}\pm t_{\alpha /2}(n-2)s_e\sqrt{\frac{1}{n}+\frac{\bar{x}}{\sum (x_i-\bar{x}{)}^2}}\right)$$

利用回归方程进行预测

回归分析的目的：根据所建立的回归方程，用给定的自变量来预测因变量。如果对于 $x$ 的一个给定值 $x_0$ ，求出 $y$ 的一个预测值 ${\hat{y}}_0$ ，就是点估计；若是求出 $y_0$ 的一个估计区间，就是个别值的区间估计；若是求出 $\overline{y_0}$ 的一个估计区间，就是平均值的区间估计。

例如，我们收集数据研究许多家企业的广告费支出作为自变量对销售收入这个因变量造成的影响：

• 求出广告费用为 200 万元时企业销售收入平均值的区间估计，就是平均值的区间估计；
• 求出广告费用为 200 万元的那家企业销售收入的区间估计，就是个别值的区间估计

点估计

点估计很明显，就是直接将 $x_0$ 代入方程即可，接下来介绍平均值和个别值的预测区间。

平均值的置信区间

平均值的置信区间 ：设给定因变量 $x$ 的一个值 $x_0$ ，$E(y_0)$ 为给定 $x_0$ 时因变量 $y$ 的期望值。当 $x=x_0$ 时，${\hat{y}}_0=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_0$ 就是 $E(y_0)$ 的估计值。那么按照区间估计的公式，要知道 $\widehat{y_0}$ 的标准差的估计量 $s_{\widehat{y_0}}$ ：
$$s_{\widehat{y_0}}=s_e\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{\sum (x_i-\bar{x}{)}^2}}$$
因此，对于给定的 $x_0$，平均值 $E(y_0)$ 在 $1-\alpha$ 置信水平下的置信区间为：
$$\left(\widehat{y_0}\pm t_{\alpha /2}(n-2)s_e\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{\sum (x_i-\bar{x})}}\right)$$
当 $x_0=\bar{x}$ 时，${\hat{y}}_0$ 的标准差的估计量最小，此时有 $s_{{\hat{y}}_0}=s_e\sqrt{\frac{1}{n}}$ ，也就是说当 $x_0=\bar{x}$ 时，估计是最准确的。$x_0$ 偏离 $\bar{x}$ 越远，那么 $y_0$ 的平均值的置信区间就变得越宽，估计的效果也就越不好。

个别值的预测区间

个别值的预测区间：用 $s_{ind}$ 表示估计 $y$ 的一个个别值时 $\widehat{y_0}$ 的标准差的估计量：
$$s_{ind}=s_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{\sum (x_i-\bar{x}{)}^2}}$$
因此，对于给定的 $x_0$ ，$y$ 的一个个别值 $y_0$ 在 $1-\alpha$ 置信水平下的预测区间为：
$$\left(\widehat{y_0}\pm t_{\alpha /2}(n-2)s_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{\sum (x_i-\bar{x})}}\right)$$
相比于置信区间而言，预测区间范围更宽一些，因此估计 $y$ 的平均值比预测 $y$ 的一个个别值更准确一些。同样，当 $x_0=\bar{x}$ 时，两个区间也都是最准确的。

用残差检验模型的假定

残差：$e=y_i-{\hat{y}}_i$ ，表示用估计的回归方程去预测 $y_i$ 而引起的误差

残差分析：跟方差分析一样，我们在做一元回归分析的时候也假定 $y={\beta }_0+{\beta }_{1}x+\epsilon$ 中的误差项 $\epsilon$ 是期望为零、具有方差齐性且相互独立的正态分布随机变量，需要对这个假设能否成立进行分析。

残差图：检验误差项 $\epsilon$ 是否满足这些假设，可以通过对残差图的分析来完成。常用的残差图有关于 $x$ 的残差图、标准化残差图等。

• 关于 $x$ 的残差图是用横坐标表示自变量 $x_i$ 的值，纵轴表示对应的残差 $e_i$

检验方差齐性

如果满足方差齐性，则残差图中的所有点都应当落在同一水平带中（图 a）且没有固定的模式，否则称为异方差性（图 b）。如果出现图 c 的情况，那么应当考虑非线性回归：

检验正态性

标准化残差：也称 Pearson 残差或半 t 化残差，是残差除以其标准差后得到的结果：
$$z_{e_i}=\frac{e_i}{s_e}=\frac{y_i-{\hat{y}}_i}{s_e}$$
关于正态性的检验可以用标准化残差分析来完成。如果 $\epsilon$ 服从正态分布，那么标准化残差的分布也应服从正态分布。例如，标准化后，应当有 $95\%$ 的残差都落在 $[-2,2]$ 之间：

也可以画直方图或者 P-P 图来检验：