一元线性回归简记

基本概念

从独立的两个随机变量X和Y中获取n对观察结果组成的样本$(X_1,Y_1),(X_2,Y_2),\dots ,(X_n,Y_n)$。假设随机变量X与Y呈线性相关，即假设$Y=a+bX$。则估计其中参数$a$和$b$的问题就可以称为一元线性回归问题。

最小二乘法

即使随机变量X和Y服从线性关系：$Y=a+bX$，得到的数据也不太可能完全符合该方程，因为总会有随机误差的出现。最简单的思路则是看实际数据与线性关系求出的理想数据之间的差值，量化评估该差值是否过大。定义残差（residual）为实际观察值与估计值（拟合值）之间的差。如果回归模型正确，我们可以将残差看作误差的观测值。定义残差平方和（residual sum of squares，SSE）为：

$$Q_e=\sum _{i=1}^n(y_i-a-b{x}_i{)}^2$$

则可以通过使得残差平方和最小的方式估计出参数$a$和$b$，该方法则称为最小二乘法（Least squares）。

具体解法往往就是取残差平方和对a和b的偏导数，并使之等于零，从而求得使残差平方和最小时的a和b：

$$\{\begin{array}{l}\frac{\partial Q}{\partial a}=-2{\sum }_{i=1}^n\left(y_i-a-b{x}_i\right)=0\\ \\ \frac{\partial Q}{\partial b}=-2{\sum }_{i=1}^n\left(y_i-a-b{x}_i\right)x_i=0\end{array}$$

求解上述方程组可得a和b为：

$$\{\begin{array}{l}\hat{a}=\frac{1}{n}{\sum }_{i=1}^n{y}_i-\frac{b}{n}{\sum }_{i=1}^n{x}_i=\bar{y}-\bar{x}b\\ \\ \hat{b}=\frac{{\sum }_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}{{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2}\end{array}$$

由此获得的方程$\hat{y}=\hat{a}+\hat{b}x$称为经验回归方程，该方程也可表示为$\hat{y}=\bar{y}+\hat{b}(x-\bar{x})$，即回归直线会通过散点图的几何中心$(\bar{x},\bar{y})$。

统计学方法

上述方法仅仅能在假设$Y=a+bX$成立的条件下估计出参数a和b。如果从统计学的角度考虑一元线性回归问题，则可以解决更多问题。

统计学建模

现在统计学上对一元线性回归问题进行建模。假设随机变量Y服从正态分布，且其均值与随机变量X成线性关系，即：

$$Y\sim N(a+bx,{\sigma }^2)$$

记$ϵ=Y-(a+bx)\sim N(0,{\sigma }^2)$，则上述假设等同于：

$$Y=a+bx+ϵ$$

其中$ϵ$即为服从正态分布$N(0,{\sigma }^2)$的随机误差。该误差的方差${\sigma }^2$称为均方误差（Mean-Square Error, MSE），反映了估计量与被估计量之间的差异程度。

统计学方法估计a和b

对于已经获得的n对样本数据$(X_1,Y_1),(X_2,Y_2),\dots ,(X_n,Y_n)$，可以求出获得这n对数据的联合密度：

$$L=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{-{\left(y_i-a-b{x}_i\right)}^2}{2{\sigma }^2}}={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^n{e}^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n{\left(y_i-a-b{x}_i\right)}^2}$$

在此可以使用最大似然法估计a和b，即估计参数a和b使得上述联合密度（似然函数）取得最大值，也就是求使指数部分${\sum }_{i=1}^n{\left(y_i-a-b{x}_i\right)}^2$取最小值时的a和b。可以看出通过该方法求得参数a和b的结果与最小二乘法的结果一致。

估计均方误差

根据线性假设，有$Y=a+bx+ϵ$，其中$ϵ$为服从正态分布$N(0,{\sigma }^2)$的随机误差。根据残差平方和定义，有$Q_e={\sum }_{i=1}^n(y_i-a-b{x}_i{)}^2$。可以构建如下统计量（具体推断过程省略）：

$$\frac{Q_e}{{\sigma }^2}\sim {\chi }^2(n-2)$$

则有$E(\frac{Q_e}{{\sigma }^2})=n-2$，即$E(\frac{Q_e}{n-2})={\sigma }^2$，也就是说$\frac{Q_e}{n-2}$就是总体方差${\sigma }^2$的无偏估计。也就是可以通过样本计算出的残差平方和来估计均方误差，均方误差的大小则反映了估计量与被估计量之间的差异程度，也就反映了线性拟合的强弱程度。

线性假设的显著性检验

可以通过检验系数$b=0$来检验线性假设$Y=a+bx+ϵ$。b的估计量$\hat{b}$服从如下分布（详细推证过程省略）：

$$\hat{b}\sim N(b,\frac{{\sigma }^2}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2})=N(b,\frac{{\sigma }^2}{S_{xx}})$$

其中$S_{xx}$为${\sum }_{i=1}^n(x_i-\bar{x}{)}^2=(n-1)S_x^2$。结合$\frac{Q_e}{{\sigma }^2}\sim {\chi }^2(n-2)$，构建统计量：

$$t=\frac{(\hat{b}-b)\sqrt{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}}{\sqrt{Q_e/(n-2)}}=\frac{\hat{b}-b}{\hat{\sigma }/\sqrt{S_{xx}}}\sim t(n-2)$$

其中${\hat{\sigma }}^2$即为总体方差的无偏估计$\frac{Q_e}{n-2}$。可以通过该统计量进行双边t检验，检验假设$b=0$，进而检验Y和X之间的一元线性关系是否显著。也可以根据该统计量计算出参数b的置信区间。

置信区间以及预测区间

根据一元线性回归的统计学模型$Y\sim N(a+bx,{\sigma }^2)$，以及经验回归方程
$\hat{y}=\hat{a}+\hat{b}x$，可以估计$x=x_0$时，Y的总体均值$\widehat{Y_0}=\hat{a}+\hat{b}{x}_0$的置信区间。可以推得如下统计量（详细推论过程省略）：

$$\frac{\widehat{Y_0}-(\hat{a}+\hat{b}{x}_0)}{\hat{\sigma }\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{S_{xx}}}}\sim t(n-2)$$

其中$S_{xx}={\sum }_{i=1}^n(x_i-\bar{x}{)}^2=(n-1)S_x^2$，${\hat{\sigma }}^2=\frac{Q_e}{n-2}$。因此可以求得Y在$x=x_0$处的总体均值的置信水平为$1-\alpha$的置信区间为：

$$\left(\hat{a}+\hat{b}{x}_0\pm t_{\alpha /2}(n-2)\hat{\sigma }\sqrt{\frac{1}{n}+\frac{{\left(x_0-\bar{x}\right)}^2}{S_{xx}}}\right)$$

可以看出其长度与$x_0$所处位置相关，$x_0$距离$\bar{x}$越近，置信区间长度越小。

类似地，预测在$x=x_0$处的一个新测量值$Y_0$符合如下分布：

$$\frac{\widehat{Y_0}-Y_0}{\hat{\sigma }\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{S_{xx}}}}\sim t(n-2)$$

则$Y_0$可能出现的区间（预测区间）如下（出现的可能性为$1-\alpha$）：

$$\left(\hat{a}+\hat{b}{x}_0\pm t_{\alpha /2}(n-2)\hat{\sigma }\sqrt{1+\frac{1}{n}+\frac{{\left(x_0-\bar{x}\right)}^2}{S_{xx}}}\right)$$

此处应该注意预测区间和置信区间的差别。二者含义近似，但置信区间强调的是当$x=x_0$时，随机变量Y的总体均值可能出现的区间；而预测区间则强调随机变量Y在$x=x_0$处可能取到的具体值所在的区间。显然预测区间是略大于置信区间的。

表示一元线性回归模型置信区间或预测区间的图像往往如下：