推断性统计部分（五）---简单回归分析

推断性统计部分（五）—简单回归分析

标签（空格分隔）： 概率论与数理统计

---

客观世界中普遍存在着变量之间的关系，有确定关系及非确定关系，确定关系是可以直接使用函数关系来表达，比如$y=ax$之类，现实的例子，如产品单价、销售数量及销售收入的关系，这个关系就可以直接使用前面的函数式来计算的，属于确定关系；非确定关系即所谓的相关关系，我们只知道它们有关，但不能用准确的函数式来定义它。

回归分析正是研究相关关系的一种工具，它能帮助我们从一个变量取得的值去估计另一变量所取的值。

相关分析

在回归分析之前，先说一下相关关系的分析，即相关分析（只有线性相关）
设从两个总体中抽样得到的配对样本$(x_1,y_1)、(x_2,y_2)……(x_n,y_n)$，$T_x、T_y$分别代表$x,y$所有数据的和，$L_{xy}$为$x,y$的离差乘积和；$L_{xx},L_{yy}$分别为$x,y$的离差平方和，相关系数定义为：
$r=\frac{L_{xy}}{\sqrt{L_{xx}L_{yy}}}$
其中：
$L_{xy}=\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)=\sum_{i=1}^nx_iy_i-\frac{T_xT_y}{n}=\sum_{i=1}^nx_iy_i-n\overline{xy}$
$L_{xx}=\sum_{i=1}^n(x_i-\bar x)^2=\sum_{i=1}^nx_i^2-\frac{T_x^2}{n}=\sum_{i=1}^nx_i^2-n\overline{x}$
$L_{yy}=\sum_{i=1}^n(y_i-\bar y)^2=\sum_{i=1}^ny_i^2-\frac{T_y^2}{n}=\sum_{i=1}^ny_i^2-n\overline{y}$

由于样本量与相关系数的分布密切相关，需要通过假设检验，验证它确实是相关的。
原假设为相关系数为$\rho=0$，在原假设成立时有：
$t=\frac{\rho}{\sqrt{\frac{1-\rho^2}{n-2}}}=\frac{r}{\sqrt{\frac{1-r^2}{n-2}}}\sim t(n-2)$
其中，$\rho$为总体相关系数，r为$\rho$的估计量，$r\sim N(0,\frac{1-\rho^2}{n-2})$

所以，由t检验给出的拒绝域来确定它们是否显著相关的判断。

一元线性回归分析

回归模型中，回归函数$\mu(x)$一般是未知的，而回归分析的任务就是通过试验数据去估计回归函数，进而讨论有关的点估计、区间估计、假设检验等问题，特别重要的是对随机变量Y的观察值作出点预测和区间预测。

我们对于$x$取定一组不完全相同的值$x_1、x_2、…x_n$，设$Y_1、Y_2、…Y_n$分别是在$x_1、x_2、…x_n$处对Y的独立观察结果，称$(x_1,Y_1)、(x_2,Y_2)……(x_n,Y_n)$是一个样本，对应的样本值记为$(x_1,y_1)、(x_2,y_2)……(x_n,y_n)$

首先，我们需要推测回归函数 μ(x)