统计学|线性回归模型总结

前言
本科期间已经系统的学习过线性回归模型，奈何本菜鸡记性太差，每次用到还要重新找资料。。。近期，由于研究需要，又重新把线性回归模型学了一遍，也有了更深的理解，借此机会，系统性的总结一遍，免得用的时候又到处找资料。

一元线性回归模型

模型及基本假设

对于具有线性关系的两个随机变量，可以用一个线性方程来表示它们之间的关系。描述因变量y如何依赖自变量x和误差项$\epsilon$的方程就称为回归模型。一元回归模型可表示为：
$$y={\beta }_0+{\beta }_{1}x+\epsilon$$
其中，误差项$\epsilon$包含遗漏的其他因素，变量的测量误差、回归函数的设定误差以及人类行为的内在随机性等。

线性回归模型的基本假设有：
（1）$E(\epsilon )=0$
（2）$Var({\epsilon }_i)=Var({\epsilon }_j)={\sigma }^2$
（3）$Cov({\epsilon }_i,{\epsilon }_j)=0$
（4）$\epsilon \sim N(0,{\sigma }^2)$

根据回归模型中的假定，有$E(y)={\beta }_0+{\beta }_{1}x$，即y的期望值是x的线性函数，称此式为一元线性回归方程。

对于以上线性回归模型，考虑的统计推断问题为：
（1）对于未知参数${\beta }_0,{\beta }_1,{\sigma }^2$进行估计；
（2）对关于${\beta }_0,{\beta }_1$的某种假设，以及y服从线性模型的假设进行检验；
（3）对y进行预测和控制。

最小二乘法

普通最小二乘法（Ordiany Least Squares, OLS）就是选择使得残差平方和最小的${\beta }_0、{\beta }_1$：
$$min\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$
分别对${\beta }_0、{\beta }_1$求偏导，并联立方程组，求得：
$$\widehat{{\beta }_0}=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}；\widehat{{\beta }_1}=\bar{y}-\widehat{{\beta }_0}\bar{x}$$

OLS估计量的性质

无偏性，一致性，最小方差性
$\widehat{{\beta }_0}、\widehat{{\beta }_1}$为${\beta }_0、{\beta }_1$的最佳线性无偏估计量（BLUE）；

残差项的正交性

1.残差向量与所有解释变量（$1^{\prime },x^{\prime }$）正交，即
$$1^{\prime }e=0,x^{\prime }e=0$$
或
$$\sum _{i=1}^n{e}_i=0,\sum _{i=1}^n{e}_i{x}_i=0$$

（由OLS求解过程中建立的方程组可得）
2.残差向量与拟合值向量 $\hat{y}$ 正交
$$\sum \widehat{y_i}{e}_i=\sum (\widehat{{\beta }_0}+{\hat{\beta }}_1{x}_i)e_i=0$$

判定系数

1.平方和分解公式
TSS (Total Sum of Squares)=${\sum }_{i=1}^n(y_i-\bar{y}{)}^2$
ESS (Explained Sum of Squares)=${\sum }_{i=1}^n(\widehat{y_i}-\bar{y}{)}^2$
RSS (Residual Sum of Squares)=${\sum }_{i=1}^n{e}_i^2$
$$TSS=ESS+RSS$$
2.拟合优度（判定系数、可决系数）
$$R^2=\frac{\sum (\widehat{y_i}-\bar{y}{)}^2}{\sum (y_i-\bar{y}{)}^2}=1-\frac{\sum e_i^2}{\sum (y_i-\bar{y}{)}^2}$$
3.相关系数
$$Corr(y_i-\widehat{y_i})=\frac{\sum (y_i-\bar{y})(\widehat{y_i}-\bar{y})}{\sum (y_i-\bar{y}{)}^2\sum (\widehat{y_i}-\bar{y}{)}^2}$$
注： 拟合优度等于$y_i-\widehat{y_i}$之间相关系数的平方

假设检验

1.$\widehat{{\beta }_0}，\widehat{{\beta }_1}$的概率分布

2.$t$检验
$$H_0:{\beta }_1=0⟷H_1:{\beta }_1\ne 0$$
构建检验统计量：
$$t=\frac{(\widehat{{\beta }_1}-{\beta }_1)/[\sigma /\sqrt{\sum (x_i-\bar{x}{)}^2}]}{\sqrt{SSE/(n-2){\sigma }^2}}=\frac{\widehat{{\beta }_1}-{\beta }_1}{S_{\widehat{{\beta }_1}}}\sim t(n-2)$$
拒绝法则：
（1）P值：P值$\le \alpha$，则拒绝$H_0$
（2）临界值法：若$t\le -t_{\alpha /2}$或$t\ge t_{\alpha /2}$，则拒绝$H_0$
3.第I类错误和第II类错误

4.F检验
$$H_0:{\beta }_1=0⟷H_1:{\beta }_1\ne 0$$
构造检验统计量：
$$F=\frac{MSR}{MSE}=\frac{SSR/1}{SSE/(n-2)}\sim F(1,n-2)$$
拒绝法则同上。

注：
（1）拒绝$H_0$只能得到x和y之间存在显著性关系，并不意味着x与y的因果关系和线性关系；
（2）显著性检验仅仅能说明在x的样本观测范围内，x和y是相关的，而且这个线性关系只是在x的样本观测值范围里，解释了y的变异性的显著部分。

估计和预测

1. $\hat{y}$可以被用作y的平均值（E（y））的一个点估计
   若令$x^{\ast }$为自变量x的给定值，$y^{\ast }$为$x=x^{\ast }$时，y的可能值（是一个随机变量），$E(y^{\ast })$为$x=x^{\ast }$时，因变量y的平均值或期望值；${\hat{y}}^{\ast }=\widehat{{\beta }_0}+{\beta }_1{x}^{\ast }$为$x=x^{\ast }$时，$E(y^{\ast })$的点估计值和$y^{\ast }$的一个预测值。

2.置信区间（$E(y^{\ast })$的区间估计）

3.预测区间（$y^{\ast }$的区间估计）

多元线性回归模型

模型及古典模型假设

1.一般的多元线性回归模型可写为
$$y_i={\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+...+{\beta }_K{x}_{iK}+{ϵ}_i=X\beta +ϵ$$
2. 模型假设
（1）线性假定：
总体模型如上式，线性假设的含义是每个解释变量对$y_t$的边际效应为常数。
（2）严格外生性：
$$E({ϵ}_i|X)=E({ϵ}_i|x_1,...,x_n)=0,(i=1,2,...,n)$$
即${ϵ}_i$均值独立于所有解释变量的观测数据，而不仅仅是同一观测数据$x_i$中的解释变量。
（3）不存在“严格多重共线性”，即数据矩阵X列满秩。
（4）球形扰动项，即扰动项满足同方差、无自相关， 所以$ϵ$的协方差矩阵满足：
$$Var(ϵ|X)={\sigma }^2{I}_n$$
（5）在给定X的情况下，$ϵ|X$服从正态分布，即$ϵ|X\sim N(0,{\sigma }^2{I}_n)$.

OLS估计量

对${\beta }_1,{\beta }_2,...,{\beta }_K$分别求偏导得：
$$\hat{\mathbf{\beta }}=(X^{\prime }X{)}^{-1}{X}^{\prime }y$$

OLS的小样本性质

小样本性质指，无论样本容量多少，这些性质都成立。根据以上古典模型假设，有：

小样本下的统计推断

- 对单个系数的t检验
同一元回归
- F检验
（1）根据沃尔德检验原理
对于多元线性回归，原假设为：
$$H_0:{\beta }_2=...={\beta }_K=0$$
写成向量形式，即为：
$$H_0:\mathbf{R\beta }=\mathbf{r}$$
其中r为（K-1）维列向量, R为(K-1)*K维矩阵，且rank（R）=K-1.
根据沃尔德检验原理，由于$\hat{\beta }$ 是$\beta$的估计量，故如果H0成立，则$(\mathbf{R}\hat{\mathbf{\beta }}-\mathbf{r})$应该比较接近于零向量，这种接近程度可用其二次型来衡量：
$$(\mathbf{R}\hat{\mathbf{\beta }}-\mathbf{r}{)}^{\prime }[Var(\mathbf{R}\hat{\mathbf{\beta }}-r){]}^{-1}(\mathbf{R}\hat{\mathbf{\beta }}-r)$$
其中
$$\begin{array}{r}Var(\mathbf{R}\hat{\mathbf{\beta }}-r)=Var(\mathbf{R}\hat{\mathbf{\beta }})=\mathbf{RVar}(\hat{\mathbf{\beta }}){\mathbf{R}}^{\prime }={\sigma }^2\mathbf{R}({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-}1{\mathbf{R}}^{\prime }\end{array}$$
定理： 在假设5.1-5.5均满足，且原假设也成立的情况下，则F统计量服从自由度为（m,n-K）的F分布:
$$F=\frac{(\mathbf{R}\hat{\mathbf{\beta }}-\mathbf{r}{)}^{\prime }[\mathbf{R}({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-1}{\mathbf{R}}^{\prime }{]}^{-1}(\mathbf{R}\hat{\mathbf{\beta }}-\mathbf{r})/m}{s^2}\sim F(m,n-K)$$
（2）似然比原理表达式
考虑以下约束极值问题：
$$mi{n}_{\hat{\beta }}SSR(\hat{\mathbf{\beta }}),s.t.\mathbf{R}\hat{\mathbf{\beta }}=\mathbf{r}$$
记有约束回归的残差平方和为SSR *，无约束回归的残差平方和为SSR，在H0成立时，$(SS{R}^{\ast }-SSR)$不应很大，因此有：
$$F=\frac{(SS{R}^{\ast }-SSR)/(K-1)}{SSR/(n-K)}$$
（3）借助平方和分解公式
如果原假设$H_0$成立，则
$$MSR=SSR/(K-1),MSE=SSE/(n-K)$$
为${\sigma }^2$的两个独立估计量，因此，它们的比值应该接近1。构造检验统计量如下：
$$F=\frac{SSR/(K-1)}{SSE/(n-K)}\sim F(K-1,n-K)$$

大样本OLS

1.为何要发展大样本理论？
（1）小样本理论的假设过强

• 严格外生性假设意味着解释变量与所有的扰动项均正交；
• 小样本理论假设扰动项为正态分布，而现实中可能服从任何分布。

（2）在小样本理论的框架下，必须研究统计量的精确分布
（3）使用大样本理论的代价是要求样本容量大

2.OLS的大样本性质
（1）$\hat{\beta }$为一致估计量

1. 定义： 考虑参数$\beta$的估计量$\widehat{{\beta }_n}$，其中下标n表示样本容量，如果$\widehat{{\beta }_n}$依概率收敛到$\beta$，则称$\widehat{{\beta }_n}$为$\beta$的一致估计量。
   2. 证明过程如下：
   
   （2）$\hat{\beta }$服从渐近正态分布
   （a）定义：如果$\sqrt{n}({\hat{\beta }}_n-\beta )\to N(0,{\sigma }^2)$，则称$\widehat{{\beta }_n}$为渐近正态，称${\sigma }^2$为其渐近方差，记为$Avar({\hat{\beta }}_n)$。
   （b)渐近协方差矩阵 的表达式为：
   

大样本统计推断

参考书目

【1】 陈强，计量经济学及Stata应用，高等教育出版社.
【2】贾俊平，何晓群，金勇进， 统计学，中国人民大学出版社.
【3】戴维 安德森，丹尼斯 斯威尼，商务与经济统计（第十三版）