回归分析（一）

回归分析（一）

变量间关系的度量

函数关系：变量之间存在一一对应的确定关系，可能是线性函数关系，也可能是非线性函数关系

相关关系：变量之间存在不确定的数量关系，不能用函数关系描述，此时变量还受其他因素的影响，结果不唯一，但大量数据显示变量之间存在一定的客观规律。回归分析是探索这种规律的统计方法。

---

相关分析：对两个随机变量之间线性关系的描述与度量

用散点图来直观描述两个变量之间的关系形态，用相关系数来准确刻画变量之间的关系强度，用对相关系数的显著性检验来判断样本所反映的关系能否代表两个变量总体上的关系

---

Pearson相关系数
$$r=\frac{n\sum xy-\sum x\sum y}{\sqrt{n\sum x^2-(\sum x{)}^2}\sqrt{n\sum y^2-(\sum y{)}^2}}$$

注：

（1）$r$是无量纲的，仅仅是$x$与$y$之间线性关系的度量，不能描述非线性关系；

（2）$r\in [-1,1]$，$r=1$：完全正相关；$r=-1$：完全负相关；$|r|\ge 0.8$：高度相关；$0.5\le |r|\le 0.8$：中度相 关；$0.3\le |r|\le 0.5$：低度相关；$|r|\le 0.3$：可视为不相关

---

$r$的显著性检验

一般情况下，总体相关系数$\rho$是未知的，通常将样本相关系数$r$作为$\rho$的近似估计值。要根据样本相关系数来说明总体的相关程度，就需要考察样本相关系数的可靠性，即进行显著性检验。

我们采用t检验，它即可用于小样本，也可用于大样本。

---

$t$检验步骤

第一步：提出假设
$$H_0:\rho =0；H_1:\rho \ne 0$$
第二步：计算检验统计量
$$t=|r|\sqrt{\frac{n-2}{1-r^2}}\sim t(n-2)$$
第三步：进行决策

先查表得出$t_{\frac{\alpha }{2}}(n-2)$的值，若$|t|>t_{\frac{\alpha }{2}}(n-2)$，拒绝$H_0$，表明存在显著线性关系

一元线性回归分析

数学模型
$$一元线性回归模型：y={\beta }_0+{\beta }_{1}x+ϵ$$
其中，位置参数${\beta }_0$，${\beta }_1$称为回归系数，$x$称为自变量（回归变量），$y$称为因变量（被预测变量），$ϵ$称为误差项，服从正态分布，$E(ϵ)=0$，$D(ϵ)={\sigma }^2$。

---

$$回归方程：E(y)={\beta }_0+{\beta }_{1}x$$

上面的方程是对一元线性回归方程两边同时求期望得到的

---

$$估计的回归方程：\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$$

其中$\widehat{{\beta }_0}$，$\widehat{{\beta }_1}$是未知参数${\beta }_0$，${\beta }_1$的估计值

---

模型参数估计

（1）回归系数的最小二乘估计==（观测值与估计值的离差平方和最小）==

假设有$n$组独立观测数据$(x_i,y_i)$，$i=1,2,3,...,n$，未知参数${\beta }_0$，${\beta }_1$的估计值分别为$\widehat{{\beta }_0}$，$\widehat{{\beta }_1}$，记：
$$\widehat{y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$$
根据最小二乘法，使$Q=\sum (y_i-\widehat{y_i}{)}^2=\sum (y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i{)}^2$达到最小，即真实数据到拟合直线的距离的平方和最小时，直线最佳。

---

由微积分极值的求法知，令$Q$对$\widehat{{\beta }_0}$，$\widehat{{\beta }_1}$的偏导数为0，解得：
$$\begin{gathered} \widehat{{\beta }_1}=\frac{n{\sum }_{i=1}^n{x}_i{y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2} \\ \widehat{{\beta }_0}=\bar{y}-\widehat{{\beta }_1}\bar{x} \end{gathered}$$
回归直线经过$\widehat{y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$经过点$(\bar{x},\bar{y})$.

---

回归直线的拟合优度判定

回归直线$\widehat{y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$在一定程度上描述了变量$x$，$y$之间的数量关系，我们可以根据$x$的取值来预测$y$的取值。但预测的精度如何取决于回归直线对观测数据的接近程度，即拟合优度。

所有观测值的离差平方和，即总平方和，记为$SST$：
$$SST=\sum (y_i-\bar{y}{)}^2$$
同时
$$SST=\sum (y_i-\bar{y}{)}^2=\sum (y_i-\widehat{y_i}+\widehat{y_i}-\bar{y}{)}^2=\sum (\widehat{y_i}-\bar{y}{)}^2+\sum (y_i-\widehat{y_i}{)}^2=SSR+SSE$$
即：$总平方和(SST)=回归平方和(SSR)+残差平方和(SSE)$

---

判定系数$R^2=\frac{SSR}{SST}\in [0,1]$，越接近1，拟合越好；越接近0，拟合越差。前面的相关系数$r$实际就是判定系数$R^2$的平方根。

均方残差$MSE=\frac{SSE}{n-2}$，估计标准误差$s_e=\sqrt{MSE}=\sqrt{\frac{SSE}{n-2}}$是误差项$ϵ$的标准差$\sigma$的估计，估计标准差$s_e$越接近于0，回归直线对各观测点的代表性就越好

---

显著性检验

（1）线性关系的检验

第一步：提出假设
$$H_0:{\beta }_1=0$$
第二步：计算检验统计量
$$F=\frac{SSR/1}{SSE/(n-2)}=\frac{MSR}{MSE}\sim F(1,n-2)$$
第三步：进行决策

先查表得出$F_{\alpha }(1,n-2)$的值，若$F>F_{\alpha }(1,n-2)$，拒绝$H_0$，表明存在显著线性关系

---

（2）回归系数的检验==（检验自变量对因变量的影响是否显著）==

第一步：提出假设
$$H_0:{\beta }_1=0$$
第二步：计算检验统计量
$$\begin{gathered} t=\frac{\widehat{{\beta }_1}}{s_{\widehat{{\beta }_1}}}\sim t(n-2) \\ 其中：s_{\widehat{{\beta }_1}}=\frac{s_e}{\sqrt{\sum x_i^2-\frac{1}{n}(\sum x_i{)}^2}} \end{gathered}$$
第三步：进行决策

先查表得出$t_{\frac{\alpha }{2}}(n-2)$的值，若$|t|>t_{\frac{\alpha }{2}}(n-2)$，拒绝$H_0$，表明回归系数等于0的可能性小于$\alpha$，自变量对因变量的影响是显著的

---

预测

（1）点估计

利用估计的回归方程：$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$，对于某个值$x_0$，求出一个估计值

（2）区间估计（$x=x_0$时）

均值$E(y_0)$在$1-\alpha$置信水平下的置信区间：
$$\widehat{y_0}\pm t_{\frac{\alpha }{2}}(n-2)s_e\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}}$$
个别值$y_0$在$1-\alpha$置信水平下的置信区间：
$$\widehat{y_0}\pm t_{\frac{\alpha }{2}}(n-2)s_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}}$$

---

残差分析

残差$e_i=y_i-\widehat{y_i}$，标准化残差$z_{e_i}=\frac{e_i}{s_e}\in [-2,2]$