第2章-回归模型(1)-线性回归模型与估计

简介

最早接触线性回归，是在计量经济学中。最简单最基础的即是一元线性回归模型。通过一元线性回归可以衍生出了许多模型，所以学好一元线性回归是非常有必要的，是目前所有回归模型的基础。即使跳出统计、计量的领域，到了数据挖掘、人工智能的领域，线性回归模型也是打好基础的重中之重。

谈到模型之前，样本数据的类型也是值得探讨的。按照数据截取的方向划分，有三类：

1. 横截面数据(cross section data)
2. 时间序列(time series)
3. 两者混合的面板数据(panel data)也叫纵面数据(longitudinal section data)

不同的数据类型，对应的模型选择也大不相同，比如有专门的时间序列模型参见后续将要写的第二十二章内容，面板数据模型，参见第八章。
线性回归，一般研究的都是横截面数据(简称截面数据)，数据挖掘、人工智能重点模型大都也都是选择截面数据。

第二、三、八等章均是主要从统计的回归模型或者说计量经济学的模型角度来讨论的。第九章以后主要是从数据挖掘、人工智能的角度来讨论。
回归模型偏向对数值型变量的估值，而挖掘模型更偏向判别离散结果，如这个图片中的数字是0-9中的哪一个。

正文

一，建立回归模型的方法论

步骤	名称	说明
1	理论或假说的陈述	凯恩斯设想：边际消费倾向
2	数学模型的设定	准确的确定性的模型： $Y={\beta }_1+{\beta }_{2}X，\Vert {\beta }_2\Vert <1$
3	回归模型(或计量经济学模型)的设定	非确定性模型-随机变量(误差项)： $Y={\beta }_1+{\beta }_{2}X+\mu$ 模型设置错误会产生选择性偏误
4	获得数据	自然科学来自于实验、社会科学来自于非实验
5	模型的估计	运用统计回归分析方法
6	模型的检验	统计学检验：拟合优度、显著性 计量经济学检验：误差项的正态性 、序列相关，异方差，多重共线性等 预测检验：主要是检验参数估计量的稳定性以及对样本容量变化时的灵敏度，即所谓超样本特性。
7	预测或预报	结构分析，经济预测，政策评价，检验与发展经济理论
8	利用模型做出决策	根据结果给定建议或方案

备注1：预测检验的具体检验方法为：

• 利用扩大了的样本重新估计模型参数的新估计值，与原来估计值比较，并检验二者差异的显著性;

• 将模型用于样本以外预测，将预测值与实际观测值进行比较，并检验二者差异的显著性

备注2：结构分析的方法：

• 弹性分析，某一变量的相对变化引起的另一变量的相对变化，即变量的变化率之比，比率关系

• 乘数分析，某一变量的绝对变化引起的另一变量的绝对变化，即变量的变化之比，倍数关系

• 比较静力分析，经济系统不同平衡位置之间的联系

二，一元线性回归模型

1，总体回归函数

(1) 总体回归函数 (又叫条件期望函数)

$E($Y|$X_i)=f(X_i)$
表示，给定$X_i$的条件下，总体Y的均值与$X_i$存在着某种函数关系f()。
该函数关系f()的形式是一个重要问题，一般依照某种理论假设或实际经验等给出。

备注：回归、回归方程、回归函数、回归模型不加以区分，均代表相同意思。

(2) 当f()为一元线性假设时，总体回归函数如下：

$E($Y|$X_i)={\beta }_0+{\beta }_{1}X$
${\beta }_0、{\beta }_1$分别是线性函数的截距、斜率，统称回归系数。

(3) 对于线性的解释

	线性举例	非线性举例
对变量为线性	$Y={\beta }_0+{\beta }_{1}X$	$Y={\beta }_0+{\beta }_1{X}^2$
对参数为线性	$Y={\beta }_0+{\beta }_{1}X$	$Y={\beta }_0+{\beta }_1^{2}X$

两种解释中，我们定义所讨论的“线性回归模型”中的“线性”是指的针对于参数为线性，即回归系数为一次方出现的模型，因此对于解释变量X为非线性、可多次方出现的情况，即后续要讨论的广义线性模型。

(4) 误差项

我们可以得到，样本值与总体回归函数的差值
$u_i=Y_i-E($Y|$X_i)=Y_i-({\beta }_0+{\beta }_{1}X)$
则
$Y_i=E($Y|$X_i)+u_i={\beta }_0+{\beta }_{1}X+u_i$

如何理解上述方程？

将其理解为两个组成部分

• $E($Y|$X_i)$表示给定X后Y的平均值，代表系统性的或确定性的部分
• $u_i$表示所有可能会影响到Y但是有没有包括进回归模型中的那些变量的代替或代理变量，代表随机或非系统性的部分
• 如果这些没有包括进模型的变量，与X不相关，且对于模型起不到决定性作用，那么上述方程没有什么问题；如果相反，则会出现omitted variables bias的情况

把等式两边取条件期望
$Y_i=E($Y|$X_i)+u_i$

$E(Y_i|X_i)=E(E($Y|$X_i))+E(u_i|X_i)$

$E(Y_i|X_i)=E($Y|$X_i)+E(u_i|X_i)$
令
$E(Y_i|X_i)=E($Y|$X_i)$
则
$E(u_i|X_i)=0$
如果想让回归函数对应的回归曲线穿过Y的条件期望，则随机扰动项，即误差项的条件均值为零。

2，样本回归函数

通过样本数据，样本回归模型的结果如下：

$\hat{Y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{X}_i$

加入随机形式的表达如下：

$Y=\widehat{{\beta }_0}+\widehat{{\beta }_1}{X}_i+\widehat{u_i}$

所以，我们能够得到
$\widehat{{\beta }_0}$是${\beta }_0$的估计量
$\widehat{{\beta }_1}$是${\beta }_1$的估计量
$\widehat{{\mu }_i}$是${\mu }_i$的估计量，表示样本与总体的差异

每次总体抽样的结果不一样，得到的样本回归函数也不同，那如何能够让样本回归函数尽可能的趋近于总体回归函数呢？接下来我们研究模型的参数估计。

三，一元线性模型的估计量

最经典的线性回归模型的估计方法是普通最小二乘(Ordinary Least Squares, OLS)估计方法，除此之外还有极大似然(Maximum Likelihood)估计方法，对于一般线性回归模型，二者得到的结果是相同的。

备注：以上方法的估计量实际是点估计，与点估计对应的，还有区间估计，但是区间估计需要有概率分布的信息。

1，OLS

根据之前的说明，我们知道，当用样本来估计总体时，将产生误差项
由
$Y_i=\widehat{Y_i}+\widehat{{\mu }_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{X}_i+\widehat{{\mu }_i}$
得
$\widehat{{\mu }_i}=Y_i-\widehat{Y_i}=Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{X}_i$

OLS的思想即是求得回归参数的估计量，使得$\sum {\hat{\mu }}_i^2$最小，即

目标函数最小
O = $\sum {\hat{\mu }}_i^2=\sum (Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{X}_i{)}^2$

求目标函数极小值的过程：

• $\frac{\partial O}{\partial {\beta }_0}$=$2\sum (Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{X}_i)\ast (-1)=\sum \widehat{{\mu }_i}=0$
• $\frac{\partial O}{\partial {\beta }_1}$=$2\sum (Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{X}_i)\ast (-X_i)=\sum \widehat{{\mu }_i}{X}_i=0$

即
$\sum Y_i-n\widehat{{\beta }_0}-\widehat{{\beta }_1}\sum X_i=0$……………………………………等式1
$\sum X_i{Y}_i-\widehat{{\beta }_0}\sum X_i-\widehat{{\beta }_1}\sum X_i^2=0$……………………………等式2

等式1,同时除n变换
则
$\sum Y_i/n-\widehat{{\beta }_0}-\widehat{{\beta }_1}\sum X_i/n=0$

$\overline{y}-\widehat{{\beta }_0}-\widehat{{\beta }_1}\overline{x}=0$

(其中，$\overline{y}=\sum Y_i/n,\overline{x}=\sum X_i/n$)
得

• $\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}=0$

将$\widehat{{\beta }_0}$代入到等式2，
得
$\sum X_i{Y}_i-(\overline{y}-\widehat{{\beta }_1}\overline{x})\sum X_i-\widehat{{\beta }_1}\sum X_i^2=0$

$\sum X_i{Y}_i-\overline{y}\sum X_i+\widehat{{\beta }_1}\overline{x}\sum X_i-\widehat{{\beta }_1}\sum X_i^2=0$

$\sum X_i{Y}_i-\overline{y}\sum X_i=\widehat{{\beta }_1}(\sum X_i^2-\overline{x}\sum X_i)$

$\widehat{{\beta }_1}=\frac{\sum X_i{Y}_i-\overline{y}\sum X_i}{\sum X_i^2-\overline{x}\sum X_i}=\frac{\sum (X_i{Y}_i-\overline{y}{X}_i)}{\sum (X_i^2-\overline{x}{X}_i)}=\frac{\sum (X_i{Y}_i-\overline{y}{X}_i-\overline{x}{Y}_i+\overline{x}{Y}_i)}{\sum (X_i^2-2\overline{x}{X}_i+\overline{x}{X}_i)}$

因为
$\sum \overline{x}{Y}_i=\overline{x}\sum Y_i=n\overline{xy}=\sum \overline{xy}$
同理
$\sum \overline{x}{X}_i=\overline{x}\sum X_i=n{\overline{x}}^2=\sum {\overline{x}}^2$

所以

• $\widehat{{\beta }_1}=\frac{\sum (X_i{Y}_i-\overline{y}{X}_i-\overline{x}{Y}_i+\overline{x}{Y}_i)}{\sum (X_i^2-2\overline{x}{X}_i+\overline{x}{X}_i)}=\frac{\sum (X_i{Y}_i-\overline{y}{X}_i-\overline{x}{Y}_i+\overline{xy})}{\sum (X_i^2-2\overline{x}{X}_i+{\overline{x}}^2)}=\frac{\sum (X_i-\overline{x})(Y_i-\overline{y})}{\sum (X_i-\overline{x}{)}^2}$

另外根据等式2，得

$\sum \widehat{{\mu }_i}{X}_i=(Y_i-{\beta }_0-{\beta }_1{X}_1)X_i=0$……………………………等式3

$cov(X_i,\widehat{{\mu }_i})=E(X_i-E(x))(\widehat{{\mu }_i}-E(\mu ))=E(X_i{\hat{\mu }}_i)-E(X_i)E({\hat{\mu }}_i)$

因为$E({\hat{\mu }}_i)=0$，所以

$cov(X_i,\widehat{{\mu }_i})=E(X_i{\hat{\mu }}_i)=\frac{\sum \widehat{{\mu }_i}{X}_i}{n}=0$
即，残差$\hat{\mu }$与$X_i$不相关

2，最小二乘回归的基本假定

	假设	假设说明	解释
解释变量假设	确定性假设	X是固定值、非随机变量	保证模型可建的基本假设-因为模型是条件期望即条件回归
	非完全共线性假设	共线性导致解释变量冗余	完全共线性导致求解不唯一，部分共线性导致求解不稳定
	与残差不相关	$cov(X_i,{\mu }_i)=0或E(X_i\ast {\mu }_i)=0$	由OLS估计，残差平方和对参数${\beta }_1$求偏导数为零求得

	假设	假设说明	解释
随机残差项假设	零均值假设	E(${\mu }_i$|$X_i$)=0	带有截距项的OLS估计中可推导出
	同方差假设	var(${\mu }_i$|$X_i$)=${\sigma }^2$	如果残差同方差成立，则var($y_i$|$X_i$)=${\sigma }^2$也成立
	序列不相关	var(${\mu }_i,{\mu }_j$|$X_i,X_j$)=0, i≠j
	正态性假设	${\mu }_i$~$N(0,{\sigma }^2)$	参数估计时不需要正态性假设，估计量推断时需要

3，估计量的均值与方差

我们已知

$\widehat{{\beta }_1}=\frac{\sum (X_i-\overline{x})(Y_i-\overline{y})}{\sum (X_i-\overline{x}{)}^2}$，$\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}=0$

如果对总体数据进行中心化处理，即$x_i=X_i-\overline{x},y_i=Y_i-\overline{y}$，则

$\widehat{{\beta }_1}=\frac{\sum x_i{y}_i}{\sum x_i^2}$

由于X是固定变量，$令k_i=\frac{x_i}{\sum x_i^2}$，则

• $\widehat{{\beta }_1}=\sum k_i{y}_i$（………………线性的）
  $\widehat{{\beta }_1}=\sum k_i({\beta }_0+{\beta }_1{x}_i+{\mu }_i)=\sum ({\beta }_0{k}_i+{\beta }_1{k}_i{x}_i+k_i{\mu }_i)$

又因为数据做了中心化处理，所以$\sum x_i=0,所以\sum k_i=0$，则

$\widehat{{\beta }_1}={\beta }_0\sum k_i+\sum {\beta }_1{k}_i{x}_i+\sum k_i{\mu }_i={\beta }_1\sum k_i{x}_i+\sum k_i{\mu }_i$

$\widehat{{\beta }_1}={\beta }_1+\sum k_i{\mu }_i$

$E(\widehat{{\beta }_1})=E({\beta }_1+\sum k_i{\mu }_i)=E({\beta }_1)+E(\sum k_i{\mu }_i)=E({\beta }_1)+\sum k_{i}E({\mu }_i)$

• $E(\widehat{{\beta }_1})=E({\beta }_1)={\beta }_1$（………………无偏性的）

$var(\widehat{{\beta }_1})=E(\widehat{{\beta }_1}-E(\widehat{{\beta }_1}){)}^2=E(\widehat{{\beta }_1}-{\beta }_1){)}^2=E(\sum k_i{\mu }_i{)}^2$

因为假设残差不自相关$E({\mu }_i,{\mu }_j)=0$，所以展开平方公式，得
$var(\widehat{{\beta }_1})=E(k_1^2{\mu }_1^2+k_2^2{\mu }_2^2+...+k_n^2{\mu }_n^2)={\sigma }^2\sum k_i^2$

• $var(\widehat{{\beta }_1})=\frac{{\sigma }^2}{\sum x_i^2}$

4，高斯-马尔可夫定理

在上述给定的经典线性回归模型的假定下，OLS的估计量是BLUE的，即最佳线性无偏估计量(best linear unbiased estimatior,BLUE)：

• 线性的：参数线性
• 无偏性：期望值等于真实值
• 有效性：最小方差的无偏估计量

5，最大似然估计

除上述假设外，若残差项再服从独立且正态分布$NID(0,{\sigma }^2)$假设，则我们可以通过ML进行估计。
ML估计的残差方差是有偏的，但是在大样本的情况下，趋于一致性。
所以ML又叫大样本方法，并且ML除了线性模型，也可以对非线性模型进行估值。

$Y=\hat{Y}+\mu =E(Y|X)+\mu ={\hat{\beta }}_0+{\hat{\beta }}_{1}X+\mu$
若$\mu$~$NID(0,{\sigma }_{\mu }^2)$，
有$\mu$的线性组合服从的分布不变，
且又有残差有零均值假设E(μ|X)=0，则
$E(Y|X)=E(Y|X)+E(\mu |X)=E(Y|X)={\hat{\beta }}_0+{\hat{\beta }}_{1}X$

因为$\hat{Y}$是回归得到的固定值，非随机变量

$var(Y)=var(\hat{Y}+\mu )=var(\mu )={\sigma }_{\mu }^2$

所以，$Y$~$NID({\hat{\beta }}_0+{\hat{\beta }}_{1}X,{\sigma }_{\mu }^2)$
得到$y_i$的概率密度

$P(y_i)=\frac{1}{\sigma \sqrt{2}\pi }exp(-\frac{1}{2{\sigma }^2}(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i{)}^2)$

定义目标函数L

$L({\hat{\beta }}_0,\hat{\beta },{\sigma }^2)=P(y_1)\cdot P(y_2)...\cdot P(y_n)=\frac{1}{(\sigma \sqrt{2}\pi {)}^n}exp(-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^{i=n}(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i{)}^2)$

$L^{\ast }=ln(L)=-nln(\sigma \sqrt{2}\pi )-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^{i=n}(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i{)}^2$

对$L^{\ast }$求极大值，即是等价于对${\sum }_{i=1}^{i=n}(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i{)}^2$求极小值，等价于OLS的目标函数

因为目标函数一致，所以求得的参数一致。

备注：极大似然法估计出的回归参数与OLS一致，但是对于残差项的方差则是有偏的，随着样本量的增加是渐进无偏的。

四，一元线性回归模型的评价-统计学检验

1，拟合优度$R^2$

由回归方程
$Y_i=\widehat{{\beta }_0}+\widehat{{\beta }_1}{X}_i+{\hat{\mu }}_i$
代入均值，我们可得
${\overline{Y}}_i=\widehat{{\beta }_0}+\widehat{{\beta }_1}{\overline{X}}_i$
两式相减，得
$Y_i-{\overline{Y}}_i=\widehat{{\beta }_1}(X_i-\overline{X})+{\hat{\mu }}_i$

总平方和为
$\sum (Y_i-{\overline{Y}}_i{)}^2=\sum [\widehat{{\beta }_1}(X_i-\overline{X})+{\hat{\mu }}_i{]}^2=\sum {\widehat{{\beta }_1}}^2(X_i-\overline{X}{)}^2+\sum {\hat{\mu }}_i^2+2\widehat{{\beta }_1}\sum {\hat{\mu }}_i(X_i-\overline{X})$

由于等式3，知
$\sum {\hat{\mu }}_i{X}_i=0$，$\sum {\hat{\mu }}_i=0$
所以，$2\widehat{{\beta }_1}\sum {\hat{\mu }}_i(X_i-\overline{X})=\sum {\hat{\mu }}_i\cdot 2\widehat{{\beta }_1}(X_i-\overline{X})=0$

总平方和为
$\sum (Y_i-{\overline{Y}}_i{)}^2=\sum {\widehat{{\beta }_1}}^2(X_i-\overline{X}{)}^2+\sum {\hat{\mu }}_i^2=\sum ({\hat{Y}}_i-\overline{Y}{)}^2+\sum {\hat{\mu }}_i^2$
即
总平方和(TSS) = 回归平方和(ESS) + 残差平方和(RSS)

我们定义拟合优度(又叫判定系数)为：
$R^2=\frac{ESS}{TSS}=1-\frac{RSS}{TSS}=1-\frac{\sum {\mu }^2}{\sum (Y_i-{\overline{Y}}_i{)}^2}$

因为${\beta }_1=\frac{\sum (X_i-\overline{x})(Y_i-\overline{y})}{\sum (X_i-\overline{x}{)}^2}$，代入得

$R^2=\frac{ESS}{TSS}=\frac{\sum {\widehat{{\beta }_1}}^2(X_i-\overline{X}{)}^2}{\sum (Y_i-{\overline{Y}}_i{)}^2}=\frac{\sum (X_i-\overline{x}{)}^2(Y_i-\overline{y}{)}^2}{\sum (X_i-\overline{X}{)}^2\sum (Y_i-{\overline{Y}}_i{)}^2}=\frac{[cov(X_i,Y_i){]}^2}{{\sigma }_x^2{\sigma }_y^2}$

所以，$R^2=person相关系数的平方$

注意1：对于截距项是零的回归模型，OLS目标函数只能得到一个偏导数方程，无法推论出$\sum {\hat{\mu }}_i=0$，则

$\sum (Y_i-{\overline{Y}}_i{)}^2=\sum ({\hat{Y}}_i-\overline{Y}{)}^2+\sum {\hat{\mu }}_i^2+\sum {\hat{\mu }}_i\cdot 2\widehat{{\beta }_1}(X_i-\overline{X})$

即过原点的回归模型来说，拟合优度$R^2$并不保证非负数。

注意2：要避免进入$R^2$陷阱，即过度追求高$R^2$的值，低值并非意味着模型没有价值。

2，残差项的正态性假设

我们假定残差项：正态且独立分布，即μ~ $NID(0,{\sigma }^2)$

理由如下：

• 根据中心极限定理，大部分情况都会符合正态分布
• 如果假设成立，${\beta }_0、{\beta }_1$是残差μ的线性组合，也将符合正态分布，简化了假设检验的工作
• 理论分布比较简单
  对于不符合正态分布的情况，我们会有相应的处理方式。

3，方程的显著性检验-F检验(方差分析)

对于方程来说，如果变量的参数都是零，则说明方程是无效的。
为了验证方程的显著性，我们通过对总体平方和的分解，来构造方差分析中的F统计量。

由
$\sum (Y_i-{\overline{Y}}_i{)}^2=\sum {\widehat{{\beta }_1}}^2(X_i-\overline{X}{)}^2+\sum {\hat{\mu }}_i^2=\sum ({\hat{Y}}_i-\overline{Y}{)}^2+\sum {\hat{\mu }}_i^2$
知
总平方和(TSS) = 回归平方和(ESS) + 残差平方和(RSS)

	平方和	自由度	均方	F统计量
回归平方和	ESS	k	$\frac{ESS}{k}$	$F=\frac{ESS/k}{RSS/(n-k-1)}$~F(k,n-k-1)
残差平方和	RSS	n-k-1	$\frac{RSS}{n-k-1}$
总平方和	TSS	n-1

原假设$H_0:{\beta }_1=...={\beta }_k=0(注意：截距项{\beta }_0不再此假设中，因为ESS的表达式中没有{\beta }_0)$
备择假设$H_1:不全为0$

由于F统计量可以写成拟合优度的表达式：$F=\frac{(1-R^2)/k}{R^2/(n-k-1)}$
所以，F检验实际上也是对拟合优度$R^2$的显著性检验

注意：本章假设回归模型为$Y={\beta }_0+{\beta }_1{X}_1+...{\beta }_k{X}_k+\mu$，即产生$Y,X_1,...，X_k$，共 k+1 个变量，此时方程的自由度是k=(k+1)-1

同理上述方差分析表中，ESS的方程中也是k+1个变量，自由度为是k=(k+1)-1，RSS为n-(k+1)=n-k-1。

如果参数的设置是由${\beta }_1$开始的，$Y={\beta }_1+{\beta }_2{X}_1+...{\beta }_k{X}_k+\mu$则ESS自由度变为k-1，RSS的自由度变为n-k。

4，变量的显著性检验-t检验

对每个变量进行显著性判断，通过构造t统计量进行推断
$t=\frac{\widehat{{\beta }_i}-{\beta }_i}{S_{{\hat{\beta }}_i}}$

原假设 $H_0:{\beta }_i=0$
备择假设$H_1:{\beta }_i̸=0$

五，多元线性回归模型

对于多元线性回归模型来说，假设、求解、显著性检验的推断过程和逻辑是一致的。

值得注意的是，对于多元回归模型，拟合优度需要修正：
随着解释变量的增加，拟合优度会至少不会变差，那么真的是越多的变量越好吗？
The Answer Is No

调整后的拟合优度：
${\overline{R}}^2=1-(1-R^2)\frac{n-1}{n-k}$
k为包括截距项的估计参数的个数

---

参考：
1，计量经济学基础，古扎拉蒂