统计学|线性回归模型总结

前言
本科期间已经系统的学习过线性回归模型，奈何本菜鸡记性太差，每次用到还要重新找资料。。。近期，由于研究需要，又重新把线性回归模型学了一遍，也有了更深的理解，借此机会，系统性的总结一遍，免得用的时候又到处找资料。

一元线性回归模型

模型及基本假设

对于具有线性关系的两个随机变量，可以用一个线性方程来表示它们之间的关系。描述因变量y如何依赖自变量x和误差项$\epsilon$的方程就称为回归模型。一元回归模型可表示为：
$$y={\beta }_0+{\beta }_{1}x+\epsilon$$
其中，误差项$\epsilon$包含遗漏的其他因素，变量的测量误差、回归函数的设定误差以及人类行为的内在随机性等。

线性回归模型的基本假设有：
（1）$E(\epsilon )=0$
（2）$Var({\epsilon }_i)=Var({\epsilon }_j)={\sigma }^2$
（3）$Cov({\epsilon }_i,{\epsilon }_j)=0$
（4）$\epsilon \sim N(0,{\sigma }^2)$

根据回归模型中的假定，有$E(y)={\beta }_0+{\beta }_{1}x$，即y的期望值是x的线性函数，称此式为一元线性回归方程。

对于以上线性回归模型，考虑的统计推断问题为：
（1）对于未知参数${\beta }_0,{\beta }_1,{\sigma }^2$进行估计；
（2）对关于${\beta }_0,{\beta }_1$的某种假设，以及y服从线性模型的假设进行检验；
（3）对y进行预测和控制。

最小二乘法

普通最小二乘法（Ordiany Least Squares, OLS）就是选择使得残差平方和最小的${\beta }_0、{\beta }_1$：
$$min\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$
分别对${\beta }_0、{\beta }_1$求偏导，并联立方程组，求得：
$$\widehat{{\beta }_0}=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}；\widehat{{\beta }_1}=\bar{y}-\widehat{{\beta }_0}\bar{x}$$

OLS估计量的性质

无偏性，一致性，最小方差性
$\widehat{{\beta }_0}、\widehat{{\beta }_1}$为${\beta }_0、{\beta }_1$的最佳线性无偏估计量（BLUE）；

残差项的正交性

1.残差向量与所有解释变量（$1^{\prime },x^{\prime }$）正交，即
$$1^{\prime }e=$$