一元线性回归-最小二乘法 最大似然估计

一、引言

本文以一元线性回归为例，整理线性回归模型参数的估计方法。

样本$(x,y)$可由$y={\beta }_0+{\beta }_{1}x+\epsilon$ 表示，其中，$\epsilon$为随机因素引起的噪声， $y={\beta }_0+{\beta }_{1}x$为用变量$x$和$y$关系描述的一元线性回归模型。模型中参数${\beta }_0$和${\beta }_1$估计的两种常用方法为最小二程法、最大似然估计法。

二、假设条件

（1）样本观测值$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$数据是独立观测的；
（2）解释变量$x$是确定性变量，并非随机变量；
（3）随机变量$y_1,y_2,...,y_n$的期望不等，但方差相等，即$y_1,y_2,...,y_n$独立但不同分布；
（4）随机变量残差（扰动项）${\epsilon }_1,{\epsilon }_2,...,{\epsilon }_n$独立同分布，且${\epsilon }_i\sim N(0,{\sigma }^2)$，则$\epsilon \sim N(0,{\sigma }^2)$

三、最小二乘法

最小二程法用来寻找线性回归模型中的参数${\beta }_0$和${\beta }_1$的估计值，估计值用$\widehat{{\beta }_0}$和 $\widehat{{\beta }_1}$表示。为获得最优估计值，算法将预测值和真实观测值之间的误差最小作为优化目标，即计算扰动项的最小值：
$$min\sum _{i=1}^n{\epsilon }_i=min\sum _{i=1}^n(y_i-\widehat{y_i})=min\sum _{i=1}^n\left(y_i-{\beta }_0-{\beta }_{1}x\right)$$
于是${\beta }_0$和${\beta }_1$的参数估计变成求$Q={\sum }_{i=1}^n\left(y_i-{\beta }_0-{\beta }_{1}x\right)$的极值问题，求偏导
$$\{\begin{array}{l}\frac{\partial Q}{\partial {\beta }_0}=0\\ \frac{\partial Q}{\partial {\beta }_1}=0\end{array}$$
即可得到极值条件下的参数值，即为估计值$\widehat{{\beta }_0}$和 $\widehat{{\beta }_1}$。整理后得结果：
$$\{\begin{array}{l}\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}\\ \widehat{{\beta }_1}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\end{array}$$

四、极大似然估计

最小二乘法从扰动项$\epsilon$的最小值入手，而极大似然估计从扰动项$\epsilon$的概率分布入手。
最大似然估计的思想是利用总体的分布密度（连续变量）或概率分布（离散变量）的表达式、以及样本提供的信息建立求解未知参数估计量的方法。这种方法将能够使用的样本视为从总体中被抽中的概率最大的样本，所以这些样本的联合分布密度或联合概率分布为最大值时，模型的估计值最准确。
对于线性回归，假设$\epsilon$服从均值为0、方差为${\sigma }^2$正态分布，$x_i$是与$y_i$相关的非随机样本，则$y_i\sim N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$，$y_i$的分布密度函数为：
$$f_i\left(y_i\right)=\frac{1}{\sqrt{2\pi }\sigma }exp\left[-\frac{1}{2{\sigma }^2}{\left[y_i-({\beta }_0+{\beta }_1{x}_i)\right]}^2\right]$$
样本$y_1,y_2,...,y_n$的联合密度分布函数为：
$$L(y_1,y_2,...,y_n;{\beta }_0,{\beta }_1)=\prod _{i=1}^n{f}_i\left(y_i\right)=(2\pi {\sigma }^2{)}^{-\frac{n}{2}}exp\left[-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{\left[y_i-({\beta }_0+{\beta }_1{x}_i)\right]}^2\right]$$
取对数后：
$$ln(L)=-\frac{n}{2}ln(2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n[y_i-{\beta }_0-{\beta }_1{x}_i{]}^2$$
等价于求${\sum }_{i=1}^n[y_i-{\beta }_0-{\beta }_1{x}_i{]}^2$的极小值，回到最小二乘法的原理。整理后得结果：
$$\{\begin{array}{l}\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}\\ \widehat{{\beta }_1}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\end{array}$$
参考书：《应用回归分析》何晓群