计量经济学
Miracle Zero
作者本人距离计量经济学课程已经过于遥远,因此中间出现的问题将不再更新,一切以书本公式为准
- 可决系数的公式可能存在问题
文章目录
- 计量经济学
- chapter2 经典单方程计量经济学模型:一元线性回归模型
- chapter3 经典单方程计量经济学模型:多元线性回归模型
- chapter4 经典单方程计量经济学模型:放宽基本假定的模型
- chapter5 时间序列计量经济学模型
- chapter6 非经典截面数据计量经济学模型
chapter2 经典单方程计量经济学模型:一元线性回归模型
2.1 回归分析概述
2.1.1 回归分析的基本概念
- 变量X与Y的样本相关系数 ρ X Y \rho_{XY} ρXY
ρ X Y = C o v ( X , Y ) V a r ( X ) V a r ( Y ) \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}} ρXY=Var(X)Var(Y)Cov(X,Y)
- 协方差 C o v ( X , Y ) Cov(X,Y) Cov(X,Y)
C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) Cov(X,Y)=E(XY)-E(X)E(Y) Cov(X,Y)=E(XY)−E(X)E(Y)
- X与Y的一组样本相关系数 r X Y r_{XY} rXY
r X Y = ∑ i = 1 n ( X i − X ‾ ) ( Y i − Y ‾ ) ∑ i = 1 n ( X i − X ‾ ) 2 ⋅ ∑ i = 1 n ( Y i − Y ‾ ) 2 r_{XY}=\frac{\sum_{i=1}^n(X_i-\overline X)(Y_i-\overline Y)}{\sqrt{\sum_{i=1}^n(X_i-\overline X)^2}\cdot\sqrt{\sum_{i=1}^n(Y_i-\overline Y)^2}} rXY=∑i=1n(Xi−X)2⋅∑i=1n(Yi−Y)2∑i=1n(Xi−X)(Yi−Y)
2.1.2 总体回归函数
根据自变量的给定值,考察因变量的总体均值
-
条件分布: P ( Y = Y j ∣ X = X i ) P(Y=Y_j|X=X_i) P(Y=Yj∣X=Xi)
-
条件均值: E ( Y ∣ X = X i ) E(Y|X=X_i) E(Y∣X=Xi)
-
(双变量)总体回归线: E ( Y ∣ X ) = f ( X ) E(Y|X)=f(X) E(Y∣X)=f(X)
-
线性总体回归函数PRF:
E ( Y ∣ X ) = β 0 + β 1 X E(Y|X)=\beta_0+\beta_1X E(Y∣X)=β0+β1Xβ 0 \beta_0 β0 β 1 \beta_1 β1是未知参数,称为回归系数
2.1.3 随机干扰项
不可观测的随机变量
-
离差:对于每个个别样本的观察值 Y Y Y围绕它的期望值 E ( Y ∣ X ) E(Y|X) E(Y∣X)的差值
μ = Y − E ( Y ∣ X ) \mu=Y-E(Y|X) μ=Y−E(Y∣X) -
由(6)式:
Y = μ + E ( Y ∣ X ) Y=\mu+E(Y|X) Y=μ+E(Y∣X) -
在线性假设下:
Y = β 0 + β 1 X + μ Y=\beta_0+\beta_1X+\mu Y=β0+β1X+μ确定性部分 E ( Y ∣ X ) E(Y|X) E(Y∣X)+随机部分 μ \mu μ
(6)(7)被称为总体回归函数的随机设定形式
-
随机干扰性的原因:
- 未知的影响因素
- 残缺的数据
- 众多细小影响因素
- 数据观测误差
- 模型设定误差
- 变量的内在随机性
2.1.4 样本回归函数
-
样本回归函数SRF
Y ^ = f ( X ) = β 0 ^ + β 1 ^ X \hat{Y}=f(X)=\hat{\beta_0}+\hat{\beta_1}X Y^=f(X)=β0^+β1^X
将(8)视为(7)的近似替代,则 Y ^ \hat{Y} Y^为 E ( Y ∣ X ) E(Y|X) E(Y∣X)的估计量, β 0 ^ \hat{\beta_0} β0^为 β 0 \beta_0 β0的估计量, β 1 ^ \hat{\beta_1} β1^为 β 1 \beta_1 β1的估计量,也有如下随机形式:
Y = Y ^ + μ ^ = β 0 ^ + β 1 ^ X + e Y=\hat{Y}+\hat{\mu}=\hat{\beta_0}+\hat{\beta_1}X+e Y=Y^+μ^=β0^+β1^X+ee e e被称为==样本残差项==,代表其他影响 Y Y Y的随机因素的集合,可以看作 μ \mu μ的估计量 μ ^ \hat{\mu} μ^
-
回归分析的主要目的
根据样本回归函数即(9)估计(6)
Y = Y ^ + e = β 0 ^ + β 1 ^ X + e ⇛ Y = μ + E ( Y ∣ X ) = β 0 + β 1 X + μ Y=\hat{Y}+e=\hat{\beta_0}+\hat{\beta_1}X+e \\ \Rrightarrow \\ Y=\mu+E(Y|X)=\beta_0+\beta_1X+\mu Y=Y^+e=β0^+β1^X+e⇛Y=μ+E(Y∣X)=β0+β1X+μ设计一种方法构造 S R F SRF SRF尽可能接近 P R F PRF PRF,使 β j ^ \hat{\beta_j} βj^尽可能接近 β j \beta_j βj
2.2 一元线性回归模型的基本假设
一元线性回归模型的一般形式:
Y
=
β
0
+
β
1
X
+
μ
Y=\beta_0+\beta_1X+\mu
Y=β0+β1X+μ
其中
Y
Y
Y为**被解释变量,
X
X
X为解释变量**
β 0 \beta_0 β0与 β 1 \beta_1 β1为待估参数, μ \mu μ为随机干扰项
在有n个样本点
{
(
X
i
,
Y
i
)
:
i
=
1
,
2
,
…
,
n
}
\{(X_i,Y_i):i=1,2,…,n\}
{(Xi,Yi):i=1,2,…,n}的情况下,也可写成:
Y
i
=
β
0
+
β
1
X
i
+
μ
i
Y_i=\beta_0+\beta_1X_i+\mu_i
Yi=β0+β1Xi+μi
为保证参数估计量有良好的性质,通常对模型提出若干基本假设
2.2.1 对模型设定的假设
假设1 回归模型是被正确设定的
- 模型设定了正确的变量
- 满足时,称为模型没有设定偏差
- 模型选择了正确的函数形式
2.2.2 对解释变量的假设
假设2 解释变量X在所抽取的样本中具有变异性,而且随着样本容量的无限增加,解释变量X的样本方差趋于一个非零的有限常数
∑
i
=
1
n
(
X
i
−
X
^
)
2
n
→
Q
,
w
h
e
n
n
→
∞
\frac{\sum_{i=1}^n(X_i-\hat{X})^2}{n}\rightarrow Q,\ when\ n\rightarrow \infty
n∑i=1n(Xi−X^)2→Q, when n→∞
2.2.3 对随机干扰项的假设
假设3 给定解释变量X的任何值,随机干扰项的均值为0
E
(
μ
i
∣
X
)
=
0
E(\mu_i|X)=0
E(μi∣X)=0
μ \mu μ的期望不依赖于 X X X的任何观测点取值变化,且总为0
→ μ \mu μ与 X X X不存在任何形式的相关性
→**X为外生解释变量(严格外生的)**,否则为内生解释变量
只有符合该假设,才有(4)=(7):
E
(
Y
∣
X
)
=
β
0
+
β
1
X
=
=
Y
=
β
0
+
β
1
X
+
μ
E(Y|X)=\beta_0+\beta_1X==Y=\beta_0+\beta_1X+\mu
E(Y∣X)=β0+β1X==Y=β0+β1X+μ
满足该假设时,根据期望迭代法则:
E
(
μ
0
)
=
E
(
E
(
μ
i
∣
X
)
)
=
E
(
0
)
=
0
E(\mu_0)=E(E(\mu_i|X))=E(0)=0
E(μ0)=E(E(μi∣X))=E(0)=0
一定可以得到随机干扰项与解释变量间的不相关性
C
o
v
(
X
,
μ
i
)
=
E
(
X
μ
i
)
−
E
(
X
)
E
(
μ
i
)
=
E
(
X
μ
i
)
=
0
Cov(X,\mu_i)=E(X\mu_i)-E(X)E(\mu_i)=E(X\mu_i)=0
Cov(X,μi)=E(Xμi)−E(X)E(μi)=E(Xμi)=0
任何观测点处的 X X X都与 μ i \mu_i μi不相关,也包括第 i i i个点处的 X i X_i Xi与 μ i \mu_i μi的不相关性
→ X X X是同期外生的
→ X X X与 μ \mu μ同期不相关
假设4 随机干扰项μ具有给定X任何值条件下的同方差性及序列不相关性
V
a
r
(
μ
i
∣
X
)
=
σ
2
,
i
=
1
,
2
,
…
,
n
C
o
v
(
μ
i
,
μ
j
∣
X
)
=
0
,
i
≠
j
Var(\mu_i|X)=\sigma^2,\ i=1,2,…,n \\ \\ Cov(\mu_i,\mu_j|X)=0,\ i\neq j
Var(μi∣X)=σ2, i=1,2,…,nCov(μi,μj∣X)=0, i=j
随机干扰项 μ \mu μ的方差不依赖于 X X X的变化,且总为 σ 2 \sigma^2 σ2
在该假设下:
V
a
r
(
μ
i
∣
X
)
=
E
(
μ
i
2
∣
X
)
−
[
E
(
μ
i
∣
X
)
]
2
=
E
(
μ
i
2
∣
X
)
=
σ
2
V
a
r
(
μ
i
)
=
E
(
μ
i
2
)
−
[
E
(
μ
i
)
]
2
=
E
(
μ
i
2
)
=
σ
2
Var(\mu_i|X)=E(\mu_i^2|X)-[E(\mu_i|X)]^2=E(\mu_i^2|X)=\sigma^2 \\ \\ Var(\mu_i)=E(\mu_i^2)-[E(\mu_i)]^2=E(\mu_i^2)=\sigma^2
Var(μi∣X)=E(μi2∣X)−[E(μi∣X)]2=E(μi2∣X)=σ2Var(μi)=E(μi2)−[E(μi)]2=E(μi2)=σ2
给定解释变量的任何值时,任意两个观测点的随机干扰项不想管
(18.2)可被解释为:
C
o
v
(
μ
i
,
μ
j
∣
X
)
=
E
[
(
μ
i
∣
X
)
(
μ
j
∣
X
)
]
=
0
Cov(\mu_i,\mu_j|X)=E[(\mu_i|X)(\mu_j|X)]=0
Cov(μi,μj∣X)=E[(μi∣X)(μj∣X)]=0
假设5 随机干扰项服从正态分布
μ
i
∣
X
∼
N
(
0
,
σ
2
)
\mu_i|X\thicksim N(0,\sigma^2)
μi∣X∼N(0,σ2)
经典线性回归模型
服从上述5个假设
高斯-马尔可夫假设:假设1-4
在上述经典假设下:
Y
∣
X
∼
N
(
β
0
+
β
1
X
,
σ
2
)
Y|X\thicksim N(\beta_0+\beta_1X,\sigma^2)
Y∣X∼N(β0+β1X,σ2)
2.3 一元线性回归模型的参数估计
在一组样本观测值 ( X i , Y i ) : i = 1 , 2 , … , n {(X_i,Y_i):i=1,2,…,n} (Xi,Yi):i=1,2,…,n下,通过一定的参数估计方法,估计出样本回归线
2.3.1 参数估计的普通最小二乘法(OLS)
判断标准:
Q
=
∑
i
=
1
n
e
i
2
=
∑
i
=
1
n
(
Y
i
−
Y
i
^
)
2
=
∑
i
=
1
n
(
Y
i
−
(
β
0
^
+
β
1
^
X
)
)
2
Q=\sum_{i=1}^ne_i^2=\sum_{i=1}^n(Y_i-\hat{Y_i})^2=\sum_{i=1}^n(Y_i-(\hat{\beta_0}+\hat{\beta_1}X))^2
Q=i=1∑nei2=i=1∑n(Yi−Yi^)2=i=1∑n(Yi−(β0^+β1^X))2
在给定样本观测值下,选择 β 0 ^ \hat{\beta_0} β0^与 β 1 ^ \hat{\beta_1} β1^使得 Y i Y_i Yi与 Y i ^ \hat{Y_i} Yi^之差的平方和最小
当
Q
Q
Q对
β
0
^
\hat{\beta_0}
β0^与
β
1
^
\hat{\beta_1}
β1^的一阶偏导数为0时,
Q
Q
Q达到最小,即
{
∂
Q
∂
β
0
^
=
0
∂
Q
∂
β
1
^
=
0
\begin{cases} \frac{\partial Q}{\partial\hat{\beta_0}}=0 \\ \\ \frac{\partial Q}{\partial\hat{\beta_1}}=0 \end{cases}
⎩⎪⎪⎨⎪⎪⎧∂β0^∂Q=0∂β1^∂Q=0
可推得正规方程组:
{
∑
(
Y
i
−
β
0
^
−
β
1
^
X
i
)
=
0
∑
(
Y
i
−
β
0
^
−
β
1
^
X
i
)
X
i
=
0
或
{
∑
Y
i
=
n
β
0
^
+
β
1
^
∑
X
i
∑
Y
i
X
i
=
β
0
^
∑
X
i
+
β
1
^
∑
X
i
2
\begin{cases} \sum{(Y_i-\hat{\beta_0}-\hat{\beta_1}X_i)}=0 \\ \\ \sum{(Y_i-\hat{\beta_0}-\hat{\beta_1}X_i)X_i}=0 \end{cases} \\ \\ 或 \\ \\ \begin{cases} \sum Y_i=n\hat{\beta_0}+\hat{\beta_1}\sum X_i \\ \\ \sum Y_iX_i=\hat{\beta_0}\sum{X_i}+\hat{\beta_1}\sum X_i^2 \end{cases}
⎩⎪⎨⎪⎧∑(Yi−β0^−β1^Xi)=0∑(Yi−β0^−β1^Xi)Xi=0或⎩⎪⎨⎪⎧∑Yi=nβ0^+β1^∑Xi∑YiXi=β0^∑Xi+β1^∑Xi2
解得:
{
β
0
^
=
∑
X
i
2
∑
Y
i
−
∑
X
i
∑
Y
i
X
i
n
∑
X
i
2
−
(
∑
X
i
)
2
β
1
^
=
n
∑
Y
i
X
i
−
∑
Y
i
∑
X
i
n
∑
X
i
2
−
(
∑
X
i
)
2
\begin{cases} \hat{\beta_0}=\frac{\sum{X_i^2}\sum{Y_i}-\sum{X_i}\sum{Y_iX_i}}{n\sum{X_i^2}-(\sum X_i)^2} \\ \ \\ \hat{\beta_1}=\frac{n\sum Y_iX_i-\sum Y_i\sum X_i}{n\sum{X_i^2}-(\sum X_i)^2} \end{cases}
⎩⎪⎪⎨⎪⎪⎧β0^=n∑Xi2−(∑Xi)2∑Xi2∑Yi−∑Xi∑YiXi β1^=n∑Xi2−(∑Xi)2n∑YiXi−∑Yi∑Xi
记:
{
∑
x
i
2
=
∑
(
X
i
−
X
)
2
=
∑
X
i
2
−
1
n
(
∑
X
i
)
2
∑
x
i
y
i
=
∑
(
X
i
−
X
‾
)
(
Y
i
−
Y
‾
)
=
∑
X
i
Y
i
−
1
n
∑
X
i
∑
Y
i
\begin{cases} \begin{aligned} \sum{x_i^2} & = \sum(X_i-X)^2 \\ & = \sum X_i^2-\frac{1}{n}(\sum X_i)^2 \\ \end{aligned} \\ \\ \begin{aligned} \sum{x_iy_i} & = \sum(X_i-\overline X)(Y_i-\overline Y) \\ & = \sum X_iY_i-\frac{1}{n}\sum X_i\sum Y_i \\ \end{aligned} \end{cases}
⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧∑xi2=∑(Xi−X)2=∑Xi2−n1(∑Xi)2∑xiyi=∑(Xi−X)(Yi−Y)=∑XiYi−n1∑Xi∑Yi
则(26)可被记为普通最小二乘法估计量的离差形式:
{
β
1
^
=
∑
x
i
y
i
∑
x
i
2
β
0
^
=
Y
‾
−
β
1
^
X
‾
\begin{cases} \hat{\beta_1}=\frac{\sum{x_iy_i}}{\sum x_i^2} \\ \\ \hat{\beta_0}=\overline{Y}-\hat{\beta_1}\overline{X} \end{cases}
⎩⎪⎨⎪⎧β1^=∑xi2∑xiyiβ0^=Y−β1^X
记
y
=
Y
i
^
−
Y
y=\hat{Y_i}-Y
y=Yi^−Y,则有:
y
i
^
=
(
β
0
^
+
β
1
^
X
i
)
−
(
β
0
^
+
β
1
^
X
‾
+
e
‾
)
=
β
1
^
(
X
i
−
X
‾
)
−
1
n
∑
e
i
=
β
1
^
x
i
\begin{aligned} \hat{y_i} & = (\hat{\beta_0}+\hat{\beta_1}X_i)-(\hat{\beta_0}+\hat{\beta_1}\overline{X}+\overline e) \\ & = \hat{\beta_1}(X_i-\overline X)-\frac{1}{n}\sum e_i\\ & = \hat{\beta_1}x_i \end{aligned}
yi^=(β0^+β1^Xi)−(β0^+β1^X+e)=β1^(Xi−X)−n1∑ei=β1^xi
2.3.2 参数估计的最大似然法(ML)
随机抽取容量为n的样本观测值
{
(
X
i
,
Y
i
)
:
i
=
1
,
2
,
…
,
n
}
\{(X_i,Y_i):i=1,2,…,n\}
{(Xi,Yi):i=1,2,…,n},
Y
i
Y_i
Yi服从正态分布:
Y
i
∼
N
(
β
0
+
β
1
X
i
,
σ
2
)
Y_i\thicksim N(\beta_0+\beta_1X_i,\sigma^2)
Yi∼N(β0+β1Xi,σ2)
由上式,可得
Y
i
Y_i
Yi的概率函数:
P
(
Y
i
)
=
1
σ
2
π
e
−
1
2
σ
2
(
Y
i
−
β
0
−
β
1
X
i
)
2
,
i
=
1
,
2
,
…
,
n
P(Y_i)=\frac{1}{\sigma \sqrt{2\pi}}e^{-\frac{1}{2\sigma^2}(Y_i-\beta_0-\beta_1X_i)^2},i=1,2,…,n
P(Yi)=σ2π1e−2σ21(Yi−β0−β1Xi)2,i=1,2,…,n
极大似然函数
L
(
β
0
,
β
1
,
σ
2
)
=
P
(
Y
1
,
Y
2
,
…
,
Y
n
)
=
1
(
2
π
)
π
2
σ
n
e
−
1
2
σ
2
∑
(
Y
i
−
β
0
−
β
1
X
i
)
2
\begin{aligned} L(\beta_0,\beta_1,\sigma^2) & =P(Y_1,Y_2,…,Y_n)\\ & =\frac{1}{(2\pi)^{\frac{\pi}{2}}\sigma^n}e^{-\frac{1}{2\sigma^2}\sum(Y_i-\beta_0-\beta_1X_i)^2} \end{aligned}
L(β0,β1,σ2)=P(Y1,Y2,…,Yn)=(2π)2πσn1e−2σ21∑(Yi−β0−β1Xi)2
极大似然估计量
对极大似然函数进行
β
0
\beta_0
β0与
β
1
\beta_1
β1求导:
{
∂
∂
β
0
^
∑
(
Y
i
−
β
0
^
−
β
1
^
X
i
)
2
=
0
∂
∂
β
1
^
∑
(
Y
i
−
β
0
^
−
β
1
^
X
i
)
2
=
0
\begin{cases} \frac{\partial}{\partial \hat{\beta_0}}\sum(Y_i-\hat{\beta_0}-\hat{\beta_1}X_i)^2=0 \\ \\ \frac{\partial}{\partial \hat{\beta_1}}\sum(Y_i-\hat{\beta_0}-\hat{\beta_1}X_i)^2=0 \end{cases}
⎩⎪⎪⎨⎪⎪⎧∂β0^∂∑(Yi−β0^−β1^Xi)2=0∂β1^∂∑(Yi−β0^−β1^Xi)2=0
即:
{
β
0
^
=
∑
X
i
2
∑
Y
i
2
−
∑
X
i
∑
Y
i
X
i
n
∑
X
i
2
−
(
∑
X
i
)
2
β
1
^
=
n
∑
X
i
Y
i
−
∑
X
i
∑
Y
i
n
∑
X
i
2
−
(
∑
X
i
)
2
\begin{cases} \hat{\beta_0}=\frac{\sum X_i^2 \sum Y_i^2-\sum X_i \sum Y_iX_i}{n\sum X_i^2-(\sum X_i)^2}\\ \\ \hat{\beta_1}=\frac{n\sum X_iY_i-\sum X_i \sum Y_i}{n\sum X_i^2-(\sum X_i)^2} \end{cases}
⎩⎪⎪⎨⎪⎪⎧β0^=n∑Xi2−(∑Xi)2∑Xi2∑Yi2−∑Xi∑YiXiβ1^=n∑Xi2−(∑Xi)2n∑XiYi−∑Xi∑Yi
因此,在满足基本假设的情况下,模型结构参数的极大似然估计值与最小二乘估计值相等
2.3.3 参数估计的矩估计法(MN)
用相应样本矩来估计总体矩
根据随机干扰项的条件零均值假设:
{
E
(
μ
i
)
=
0
C
o
v
(
X
i
,
μ
i
)
=
0
可
被
写
为
{
1
n
∑
(
Y
i
−
β
0
^
−
β
1
^
X
i
)
=
0
1
n
∑
(
Y
i
−
β
0
^
−
β
1
^
X
i
)
X
i
=
0
\begin{cases} E(\mu_i)=0\\ \\ Cov(X_i,\mu_i)=0 \end{cases} \\ \\ 可被写为\\ \\ \begin{cases} \frac{1}{n}\sum(Y_i-\hat{\beta_0}-\hat{\beta_1}X_i)=0\\ \\ \frac{1}{n}\sum(Y_i-\hat{\beta_0}-\hat{\beta_1}X_i)X_i=0 \end{cases}
⎩⎪⎨⎪⎧E(μi)=0Cov(Xi,μi)=0可被写为⎩⎪⎨⎪⎧n1∑(Yi−β0^−β1^Xi)=0n1∑(Yi−β0^−β1^Xi)Xi=0
与普通最小二乘法中的正规方程式(25)相同:
β
1
^
=
∑
x
i
y
i
∑
x
i
2
β
0
^
=
Y
‾
−
β
1
^
X
‾
\hat{\beta_1}=\frac{\sum{x_iy_i}}{\sum x_i^2} \\ \hat{\beta_0}=\overline{Y}-\hat{\beta_1}\overline{X}
β1^=∑xi2∑xiyiβ0^=Y−β1^X
2.4 最小二乘估计量的统计性质
最佳线性无偏估计量满足以下三个性质(有限样本性质/小样本性质)
- 线性性:是否是另一个随机变量的线性函数
- 无偏性:均值/期望是否是总体的真实值
- 有效性:它是否在所有线性无偏估计量中具有最小的方差
在有限样本情况下很难找到最佳线性无偏估计量,因此需要考察样本容量无限增大时估计量的渐进性质
- 渐进无偏性:样本容量趋于无穷大时,它的均值序列是否趋于总体真值
- 一致性:样本容量趋于无穷大时,它是否依概率收敛于总体的真值
- 渐进有效性:样本容量趋于无穷大时,它在所有的一致估计量中是否具有最小的渐近方差
- 小样本更关注无偏性和有效性,线性性不是必须的
- 大样本更关注一致性
2.4.1 线性性
β 1 ^ = ∑ x i y i ∑ x i 2 = ∑ x i ( Y i − Y ‾ ) ∑ X i 2 = ∑ x i Y i ∑ x i 2 − Y ‾ ∑ x i ∑ x i 2 = ∑ k i Y i 其 中 k i = x i ∑ x i 2 \hat{\beta_1} =\frac{\sum{x_iy_i}}{\sum x_i^2} =\frac{\sum{x_i(Y_i-\overline{Y})}}{\sum X_i^2} =\frac{\sum{x_iY_i}}{\sum x_i^2}-\frac{\overline{Y}\sum{x_i}}{\sum x_i^2} =\sum k_iY_i\\ 其中k_i=\frac{x_i}{\sum x_i^2} \\ β1^=∑xi2∑xiyi=∑Xi2∑xi(Yi−Y)=∑xi2∑xiYi−∑xi2Y∑xi=∑kiYi其中ki=∑xi2xi
β 0 ^ = Y ‾ − β 1 ^ X ‾ = 1 n ∑ Y i − X ‾ ∑ k i Y i = ∑ Y i ( 1 n − k i X ‾ ) = ∑ ω i Y i 其 中 ω i = 1 n − k i X ‾ \hat{\beta_0} =\overline{Y}-\hat{\beta_1}\overline{X} =\frac{1}{n}\sum Y_i-\overline{X}\sum k_iY_i =\sum{Y_i(\frac{1}{n}-k_i\overline{X})} =\sum \omega_iY_i \\ 其中\omega_i=\frac{1}{n}-k_i\overline{X} β0^=Y−β1^X=n1∑Yi−X∑kiYi=∑Yi(n1−kiX)=∑ωiYi其中ωi=n1−kiX
2.4.2 无偏性
E ( β 1 ^ ∣ X ) = β 1 E ( β 0 ^ ∣ X ) = β 0 E(\hat{\beta_1}|X)=\beta_1 \\ E(\hat{\beta_0}|X)=\beta_0 E(β1^∣X)=β1E(β0^∣X)=β0
由线性性得:
β
1
^
=
∑
k
i
Y
i
=
∑
k
i
(
β
0
+
β
1
X
i
+
μ
i
)
=
β
0
∑
k
i
+
β
1
∑
k
i
X
i
+
∑
k
i
μ
i
=
β
1
+
∑
k
i
μ
i
\begin{aligned} \hat{\beta_1} & =\sum k_iY_i=\sum k_i(\beta_0+\beta_1X_i+\mu_i)\\ & =\beta_0\sum k_i+\beta_1\sum k_iX_i+\sum k_i\mu_i\\ & =\beta_1+\sum k_i\mu_i\\ \end{aligned}
β1^=∑kiYi=∑ki(β0+β1Xi+μi)=β0∑ki+β1∑kiXi+∑kiμi=β1+∑kiμi
因此:
∴
E
(
β
1
^
∣
X
)
=
E
[
(
β
1
+
∑
k
i
μ
i
)
∣
X
]
=
β
1
+
∑
k
i
E
(
μ
i
∣
X
)
=
β
1
\therefore E(\hat{\beta_1}|X)=E[(\beta_1+\sum k_i\mu_i)|X] =\beta_1+\sum k_iE(\mu_i|X) =\beta_1
∴E(β1^∣X)=E[(β1+∑kiμi)∣X]=β1+∑kiE(μi∣X)=β1
E ( β 0 ^ ∣ X ) = E [ ( β 0 + ∑ ω i μ i ) ∣ X ] = β 0 + ∑ ω i E ( μ i ∣ X ) = β 0 E(\hat{\beta_0}|X)=E[(\beta_0+\sum \omega_i\mu_i)|X] =\beta_0+\sum \omega_iE(\mu_i|X) =\beta_0 E(β0^∣X)=E[(β0+∑ωiμi)∣X]=β0+∑ωiE(μi∣X)=β0
2.4.3 有效性(最小方差性)
在所有线性无偏估计量中,普通最小二乘估计量具有最小方差
V a r ( β 1 ^ ∣ X ) = V a r ( ∑ k i Y i ∣ X ) = ∑ k i 2 V a r ( Y i ∣ X ) = ∑ k i 2 V a r ( β 0 + β 1 X i + μ i ∣ X ) = ∑ k i 2 V a r ( μ i ∣ X ) = ∑ ( x i ∑ x i 2 ) 2 σ 2 = σ 2 ∑ x i 2 \begin{aligned} Var(\hat{\beta_1}|X) &=Var(\sum k_iY_i|X)=\sum k_i^2 Var(Y_i|X)\\ &=\sum k_i^2 Var(\beta_0+\beta_1X_i+\mu_i|X)\\ &=\sum k_i^2 Var(\mu_i|X)=\sum (\frac{x_i}{\sum x_i^2})^2 \sigma^2 =\frac{\sigma^2}{\sum x_i^2} \end{aligned} Var(β1^∣X)=Var(∑kiYi∣X)=∑ki2Var(Yi∣X)=∑ki2Var(β0+β1Xi+μi∣X)=∑ki2Var(μi∣X)=∑(∑xi2xi)2σ2=∑xi2σ2
V a r ( β 0 ^ ∣ X ) = V a r ( ∑ ω i Y i ∣ X ) = ∑ ω i 2 V a r ( β 0 + β 1 X i + μ i ∣ X ) = ∑ ω i 2 V a r ( μ i ∣ X ) = ∑ ( 1 n − X ‾ k i ) 2 σ 2 = ∑ ( 1 n 2 − 2 n X ‾ k i + X ‾ 2 k i 2 ) σ 2 = ( 1 n − 2 X ‾ ∑ k i + X ‾ 2 ∑ k i 2 ) σ 2 = ( 1 n + X ‾ 2 ∑ x i 2 ) σ 2 = ( n X ‾ 2 + ∑ x i 2 n ∑ x i 2 ) σ 2 = ∑ X i 2 n ∑ x i 2 σ 2 \begin{aligned} Var(\hat{\beta_0}|X) &=Var(\sum \omega_iY_i|X)=\sum \omega_i^2 Var(\beta_0+\beta_1X_i+\mu_i|X)\\ &=\sum \omega_i^2 Var(\mu_i|X)=\sum (\frac{1}{n}-\overline X k_i)^2 \sigma^2\\ &=\sum (\frac{1}{n^2}-\frac{2}{n}\overline X k_i+\overline X^2k_i^2)\sigma^2 =(\frac{1}{n}-2\overline X\sum k_i+\overline X^2\sum k_i^2)\sigma^2\\ &=(\frac{1}{n}+\frac{\overline X^2}{\sum x_i^2})\sigma^2 =(\frac{n\overline X^2+\sum x_i^2}{n\sum x_i^2})\sigma^2 =\frac{\sum X_i^2}{n\sum x_i^2}\sigma^2 \end{aligned} Var(β0^∣X)=Var(∑ωiYi∣X)=∑ωi2Var(β0+β1Xi+μi∣X)=∑ωi2Var(μi∣X)=∑(n1−Xki)2σ2=∑(n21−n2Xki+X2ki2)σ2=(n1−2X∑ki+X2∑ki2)σ2=(n1+∑xi2X2)σ2=(n∑xi2nX2+∑xi2)σ2=n∑xi2∑Xi2σ2
- 高斯——马尔科夫定理
普通最小二乘估计量具有线性性、无偏性和有效性
2.5 参数估计量的概率分布及随机干扰项方差的估计
2.5.1 参数估计 β 0 ^ \hat{\beta_0} β0^与 β 1 ^ \hat{\beta_1} β1^的概率分布
β 0 ^ ∼ N ( β 0 , ∑ X i 2 n ∑ x i 2 σ 2 ) β 1 ^ ∼ N ( β 1 , σ 2 ∑ x i 2 ) \hat{\beta_0}\thicksim N(\beta_0,\frac{\sum X_i^2}{n\sum x_i^2}\sigma^2)\\ \hat{\beta_1}\thicksim N(\beta_1,\frac{\sigma^2}{\sum x_i^2}) β0^∼N(β0,n∑xi2∑Xi2σ2)β1^∼N(β1,∑xi2σ2)
β
0
^
\hat{\beta_0}
β0^与
β
1
^
\hat{\beta_1}
β1^的标准差:
σ
β
0
^
=
∑
X
i
2
n
∑
x
i
2
σ
2
σ
β
1
^
=
σ
2
∑
x
i
2
\sigma_{\hat{\beta_0}}=\sqrt{\frac{\sum X_i^2}{n\sum x_i^2}\sigma^2}\\ \sigma_{\hat{\beta_1}}=\sqrt{\frac{\sigma^2}{\sum x_i^2}}
σβ0^=n∑xi2∑Xi2σ2σβ1^=∑xi2σ2
标准差可用来衡量估计量接近其真实值的成图,进而判断估计量的可靠性
2.5.2 随机干扰项 μ i \mu_i μi与 σ 2 \sigma^2 σ2的估计
由于 σ 2 \sigma^2 σ2在实际上是未知的,因此 β 0 ^ \hat{\beta_0} β0^与 β 1 ^ \hat{\beta_1} β1^的方差实际上不可计算,所以需要对其进行估计
随机干扰项 μ i \mu_i μi不可观测,只能从它的估计——残差 e i e_i ei出发,对总体方差 σ 2 \sigma^2 σ2进行估计
残差:实际观察值与估计值(拟合值)之间的差
关于
σ
2
\sigma^2
σ2的无偏估计量:(最小二乘估计量)
σ
^
2
=
∑
e
i
2
n
−
2
\hat{\sigma}^2=\frac{\sum e_i^2}{n-2}
σ^2=n−2∑ei2
β
1
^
\hat{\beta_1}
β1^的样本方差:
KaTeX parse error: Got function '\hat' with no arguments as subscript at position 4: S_\̲h̲a̲t̲{\beta_1}^2=\fr…
β
1
^
\hat{\beta_1}
β1^的样本标准差:
KaTeX parse error: Got function '\hat' with no arguments as subscript at position 4: S_\̲h̲a̲t̲{\beta_1}=\frac…
β
0
^
\hat{\beta_0}
β0^的样本方差:
KaTeX parse error: Got function '\hat' with no arguments as subscript at position 4: S_\̲h̲a̲t̲{\beta_0}^2=\fr…
β
0
^
\hat{\beta_0}
β0^的样本标准差:
KaTeX parse error: Got function '\hat' with no arguments as subscript at position 4: S_\̲h̲a̲t̲{\beta_0}=\hat{…
2.4 一元线性回归模型的统计检验
2.4.1 拟合优度检验
检验模型对样本观测值的拟合程度
2.4.1.1 总离差平方和的分解
如果 Y i Y_i Yi落在样本回归线上,则 Y Y Y的第 i i i个观测值与样本均值间的离差,全部来自样本回归拟合值与样本均值的离差,即完全可由样本回归线解释,表明在该点处实现完全拟合
对于所有样本,考虑==总离差平方和==,反应样本观测值总体离差大小:
∑
y
i
2
=
∑
(
y
i
^
2
+
2
y
i
^
e
i
+
e
i
2
)
=
∑
y
i
^
2
+
e
i
^
2
=
T
S
S
\sum y_i^2=\sum(\hat{y_i}^2+2\hat{y_i}e_i+e_i^2)=\sum \hat{y_i}^2+\hat{e_i}^2=TSS
∑yi2=∑(yi^2+2yi^ei+ei2)=∑yi^2+ei^2=TSS
==回归平方和==反应由模型中解释变量所解释的那部分离差大小:
∑
y
i
^
2
=
∑
(
Y
i
^
−
Y
‾
)
2
=
E
S
S
\sum \hat{y_i}^2=\sum(\hat{Y_i}-\overline{Y})^2=ESS
∑yi^2=∑(Yi^−Y)2=ESS
==残差平方和==反应样本观测值与估计值偏离的大小,即解释变量未解释的那部分离差大小:
∑
e
i
2
=
∑
(
Y
i
−
Y
i
^
)
2
=
R
S
S
\sum e_i^2=\sum(Y_i-\hat{Y_i})^2=RSS
∑ei2=∑(Yi−Yi^)2=RSS
2.4.1.2 可决系数 R 2 R^2 R2统计量
可用来自回归线的回归平方和占Y的总离差平方和的比例来判断样本回归线与样本观测值的拟合优度
R 2 = E S S T S S = 1 − R S S T S S R^2=\frac{ESS}{TSS}=1-\frac{RSS}{TSS} R2=TSSESS=1−TSSRSS
- 如果模型和样本观测值完全拟合,则 R 2 = 1 R^2=1 R2=1
- 0 ≤ R 2 ≤ 1 0\leq R^2 \leq 1 0≤R2≤1
- 随抽样而变动的统计量
∵ E S S = ∑ y i ^ 2 = ∑ ( β 1 ^ x i ) 2 = β 1 ^ 2 ∑ x i 2 ∴ R 2 = β 1 ^ 2 ( ∑ x i 2 ∑ y i 2 ) \because ESS=\sum \hat{y_i}^2=\sum(\hat{\beta_1}x_i)^2=\hat{\beta_1}^2\sum x_i^2\\ \therefore R^2=\hat{\beta_1}^2(\frac{\sum x_i^2}{\sum y_i^2}) ∵ESS=∑yi^2=∑(β1^xi)2=β1^2∑xi2∴R2=β1^2(∑yi2∑xi2)
2.4.2 变量的显著性检验
对模型中被解释变量与解释变量之间的线性关系是否显著成立的推断
解释变量是否对被解释变量有显著的先行影响
t检验
已知:
β
1
^
∼
N
(
β
1
,
σ
2
∑
x
i
2
)
\hat{\beta_1}\thicksim N(\beta_1,\frac{\sigma^2}{\sum x_i^2})
β1^∼N(β1,∑xi2σ2)
因为真实的
σ
\sigma
σ未知,采用它的无偏估计量
∑
e
i
2
n
−
2
\frac{\sum e_i^2}{n-2}
n−2∑ei2替代,可构造统计量
t
t
t:
t
=
β
1
^
−
β
1
σ
^
2
∑
x
i
2
=
β
1
^
−
β
1
S
β
1
^
∼
t
(
n
−
2
)
t=\frac{\hat{\beta_1}-\beta_1}{\sqrt{\frac{\hat{\sigma}^2}{\sum x_i^2}}}=\frac{\hat{\beta_1}-\beta_1}{S_{\hat{\beta_1}}}\thicksim t(n-2)
t=∑xi2σ^2β1^−β1=Sβ1^β1^−β1∼t(n−2)
如果变量 X X X是显著的,那么参数 β 1 \beta_1 β1应该显著的不为零
H 0 : β 1 = 0 , H 1 : β 1 ≠ 0 H_0:\beta_1=0,\ H_1:\beta_1\neq 0 H0:β1=0, H1:β1=0
- 若KaTeX parse error: Undefined control sequence: \vline at position 1: \̲v̲l̲i̲n̲e̲ ̲t\vline>t_{\fra…,则在 α \alpha α显著性水平下拒绝原假设,即 X X X是显著的,通过变量显著性测试
- 若KaTeX parse error: Undefined control sequence: \vline at position 1: \̲v̲l̲i̲n̲e̲ ̲t\vline < t_{\f…,则在 α \alpha α显著性水平下不拒绝原假设,即 X X X是不显著的
2.4.3 参数检验的置信区间估计
随机区间:
P
(
β
j
^
−
δ
≤
β
j
≤
β
j
^
+
δ
)
=
1
−
α
P(\hat{\beta_j}-\delta\leq\beta_j\leq\hat{\beta_j}+\delta)=1-\alpha
P(βj^−δ≤βj≤βj^+δ)=1−α
置信区间: ( β j ^ − δ , β j ^ + δ ) (\hat{\beta_j}-\delta,\hat{\beta_j}+\delta) (βj^−δ,βj^+δ)
置信度: 1 − α 1-\alpha 1−α
显著性水平: α \alpha α
置信限/临界值: β j ^ − δ , β j ^ + δ \hat{\beta_j}-\delta,\hat{\beta_j}+\delta βj^−δ,βj^+δ
根据(52):
∵
P
(
−
t
α
2
<
t
<
t
α
2
)
=
1
−
α
∴
P
(
−
t
α
2
<
β
j
^
−
β
j
S
β
j
^
<
t
α
2
)
=
1
−
α
即
:
P
(
β
j
^
−
t
α
2
×
S
β
j
^
<
β
j
<
β
j
^
+
t
α
2
×
S
β
j
^
)
=
1
−
α
∴
1
−
α
的
置
信
度
下
β
j
的
置
信
区
间
为
:
(
β
j
^
−
t
α
2
×
S
β
j
^
,
β
j
^
+
t
α
2
×
S
β
j
^
)
\because P(-t_{\frac{\alpha}{2}}<t<t_{\frac{\alpha}{2}})=1-\alpha\\ \therefore P(-t_{\frac{\alpha}{2}}<\frac{\hat{\beta_j}-\beta_j}{S_{\hat{\beta_j}}}<t_{\frac{\alpha}{2}})=1-\alpha\\ 即: P(\hat{\beta_j}-t_{\frac{\alpha}{2}}\times S_{\hat{\beta_j}}<\beta_j<\hat{\beta_j}+t_{\frac{\alpha}{2}}\times S_{\hat{\beta_j}})=1-\alpha\\ \therefore 1-\alpha的置信度下\beta_j的置信区间为:(\hat{\beta_j}-t_{\frac{\alpha}{2}}\times S_{\hat{\beta_j}},\hat{\beta_j}+t_{\frac{\alpha}{2}}\times S_{\hat{\beta_j}})
∵P(−t2α<t<t2α)=1−α∴P(−t2α<Sβj^βj^−βj<t2α)=1−α即:P(βj^−t2α×Sβj^<βj<βj^+t2α×Sβj^)=1−α∴1−α的置信度下βj的置信区间为:(βj^−t2α×Sβj^,βj^+t2α×Sβj^)
2.5 一元线性回归分析的应用:预测问题
2.5.1 Y 0 ^ \hat{Y_0} Y0^可以作为 E ( Y ∣ X = X 0 ) E(Y|X=X_0) E(Y∣X=X0)与 Y 0 Y_0 Y0的预测值
{ E ( Y 0 ^ ) = E ( β 0 ^ + β 1 ^ X 0 ) = E ( β 0 ^ ) + E ( β 1 ^ X 0 ) = E ( β 0 ^ ) + X 0 E ( β 1 ^ ) = β 0 + X 0 β 1 E ( Y ∣ X = X 0 ) = β 0 + X 0 β 1 E ( Y 0 ) = E ( β 0 + β 1 X 0 + μ ) = β 0 + β 1 X 0 + E ( μ ) = β 0 + β 1 X 0 \begin{cases} E(\hat{Y_0})=E(\hat{\beta_0}+\hat{\beta_1}X_0)=E(\hat{\beta_0})+E(\hat{\beta_1}X_0)=E(\hat{\beta_0})+X_0E(\hat{\beta_1})=\beta_0+X_0\beta_1\\ E(Y|X=X_0)=\beta_0+X_0\beta_1\\ E(Y_0)=E(\beta_0+\beta_1X_0+\mu)=\beta_0+\beta_1X_0+E(\mu)=\beta_0+\beta_1X_0 \end{cases} ⎩⎪⎨⎪⎧E(Y0^)=E(β0^+β1^X0)=E(β0^)+E(β1^X0)=E(β0^)+X0E(β1^)=β0+X0β1E(Y∣X=X0)=β0+X0β1E(Y0)=E(β0+β1X0+μ)=β0+β1X0+E(μ)=β0+β1X0
2.5.2 总体条件均值与个别值预测值的置信区间
2.5.2.1 总体条件均值预测值的置信区间
∵ Y 0 ^ = β 0 ^ + β 1 ^ X 0 , 且 { β 1 ^ ∼ N ( β 1 , σ 2 ∑ x i 2 ) β 0 ^ ∼ N ( β 0 , ∑ X i 2 n ∑ x i 2 σ 2 ) ∴ { E ( Y 0 ^ ) = β 0 + β 1 X 0 V a r ( Y 0 ^ ) = V a r ( β 0 ^ ) + 2 X 0 C o v ( β 0 ^ , β 1 ^ ) + X 0 2 V a r ( β 1 ^ ) \because \hat{Y_0}=\hat{\beta_0}+\hat{\beta_1}X_0 ,且 \begin{cases} \hat{\beta_1}\thicksim N(\beta_1,\frac{\sigma^2}{\sum x_i^2}) \\ \hat{\beta_0}\thicksim N(\beta_0,\frac{\sum X_i^2}{n\sum x_i^2}\sigma^2) \end{cases} \\ \therefore \begin{cases} E(\hat{Y_0})=\beta_0+\beta_1X_0 \\ Var(\hat{Y_0})=Var(\hat{\beta_0})+2X_0Cov(\hat{\beta_0},\hat{\beta_1})+X_0^2Var(\hat{\beta_1}) \end{cases} ∵Y0^=β0^+β1^X0,且⎩⎨⎧β1^∼N(β1,∑xi2σ2)β0^∼N(β0,n∑xi2∑Xi2σ2)∴{E(Y0^)=β0+β1X0Var(Y0^)=Var(β0^)+2X0Cov(β0^,β1^)+X02Var(β1^)
可 以 证 明 : C o v ( β 0 ^ , β 1 ^ ) = − σ 2 X ‾ ∑ x i 2 可以证明: Cov(\hat{\beta_0},\hat{\beta_1})=\frac{-\sigma^2\overline X}{\sum x_i^2}\\ 可以证明:Cov(β0^,β1^)=∑xi2−σ2X
因此:
∵
V
a
r
(
Y
0
^
)
=
∑
X
i
2
n
∑
x
i
2
σ
2
−
2
σ
2
X
‾
X
0
∑
x
i
2
+
X
0
2
σ
2
∑
x
i
2
=
σ
2
∑
x
i
2
(
∑
X
i
2
n
−
2
X
0
X
‾
+
X
0
2
)
=
σ
2
∑
x
i
2
(
∑
x
i
2
n
+
(
X
0
−
X
‾
)
2
)
=
σ
2
(
1
n
+
(
X
0
−
X
‾
)
2
∑
x
i
2
)
∴
Y
0
^
∼
N
[
β
0
+
β
1
X
0
,
σ
2
(
1
n
+
(
X
0
−
X
‾
)
2
∑
x
i
2
)
]
\begin{aligned} \because Var(\hat{Y_0})& =\frac{\sum X_i^2}{n\sum x_i^2}\sigma^2-\frac{2\sigma^2\overline XX_0}{\sum x_i^2}+\frac{X_0^2\sigma^2}{\sum x_i^2}\\ & =\frac{\sigma^2}{\sum x_i^2}(\frac{\sum X_i^2}{n}-2X_0\overline X+X_0^2)\\ & =\frac{\sigma^2}{\sum x_i^2}(\frac{\sum x_i^2}{n}+(X_0-\overline X)^2)\\ & =\sigma^2(\frac{1}{n}+\frac{(X_0-\overline X)^2}{\sum x_i^2}) \end{aligned} \\ \therefore \hat{Y_0}\thicksim N[\beta_0+\beta_1X_0,\sigma^2(\frac{1}{n}+\frac{(X_0-\overline X)^2}{\sum x_i^2})]
∵Var(Y0^)=n∑xi2∑Xi2σ2−∑xi22σ2XX0+∑xi2X02σ2=∑xi2σ2(n∑Xi2−2X0X+X02)=∑xi2σ2(n∑xi2+(X0−X)2)=σ2(n1+∑xi2(X0−X)2)∴Y0^∼N[β0+β1X0,σ2(n1+∑xi2(X0−X)2)]
用
σ
2
\sigma^2
σ2的无偏估计量
σ
^
2
\hat{\sigma}^2
σ^2替代,构造**t统计量:
t
=
Y
0
^
−
(
β
0
+
β
1
X
0
)
S
Y
0
^
∼
t
(
n
−
2
)
其
中
,
S
Y
0
^
=
σ
^
2
[
1
n
+
(
X
0
−
X
‾
)
2
∑
x
i
2
]
t=\frac{\hat{Y_0}-(\beta_0+\beta_1X_0)}{S_{\hat{Y_0}}}\thicksim t(n-2)\\ 其中,S_{\hat{Y_0}}=\sqrt{\hat{\sigma}^2[\frac1n+\frac{(X_0-\overline X)^2}{\sum x_i^2}]}
t=SY0^Y0^−(β0+β1X0)∼t(n−2)其中,SY0^=σ^2[n1+∑xi2(X0−X)2]
在
1
−
α
1-α
1−α的置信度下,总体均值**
E
(
Y
∣
X
0
)
E(Y|X_0)
E(Y∣X0)的置信区间:
Y
0
^
−
t
α
2
×
S
Y
0
^
<
E
(
Y
∣
X
0
)
<
Y
0
^
+
t
α
2
×
S
Y
0
^
\hat{Y_0}-t_{\frac{\alpha}{2}}\times S_{\hat{Y_0}}<E(Y|X_0)<\hat{Y_0}+t_{\frac{\alpha}{2}}\times S_{\hat{Y_0}}
Y0^−t2α×SY0^<E(Y∣X0)<Y0^+t2α×SY0^
2.5.2.2 总体个别值预测值的置信区间
∵ Y 0 ∼ N ( β 0 + β 1 X 0 , σ 2 ) ∴ Y 0 ^ − Y 0 ∼ N ( 0 , σ 2 [ 1 + 1 n + ( X 0 − X ‾ ) 2 ∑ x i 2 ] ) \because Y_0\thicksim N(\beta_0+\beta_1X_0,\sigma^2)\\ \therefore \hat{Y_0}-Y_0\thicksim N(0,\sigma^2[1+\frac1n+\frac{(X_0-\overline X)^2}{\sum x_i^2}]) ∵Y0∼N(β0+β1X0,σ2)∴Y0^−Y0∼N(0,σ2[1+n1+∑xi2(X0−X)2])
用
σ
2
\sigma^2
σ2的无偏估计量
σ
^
2
\hat{\sigma}^2
σ^2替代,构造**t统计量:
t
=
Y
0
^
−
Y
0
S
Y
0
^
−
Y
0
∼
t
(
n
−
2
)
其
中
,
S
Y
0
^
−
Y
0
=
σ
^
2
[
1
+
1
n
+
(
X
0
−
X
‾
)
2
∑
x
i
2
]
t=\frac{\hat{Y_0}-Y_0}{S_{\hat{Y_0}-Y_0}}\thicksim t(n-2)\\ 其中,S_{\hat{Y_0}-Y_0}=\sqrt{\hat{\sigma}^2[1+\frac1n+\frac{(X_0-\overline X)^2}{\sum x_i^2}]}
t=SY0^−Y0Y0^−Y0∼t(n−2)其中,SY0^−Y0=σ^2[1+n1+∑xi2(X0−X)2]
在
1
−
α
1-α
1−α的置信度下,个别值**
Y
0
Y_0
Y0的置信区间:
Y
0
^
−
t
α
2
×
S
Y
0
^
−
Y
0
<
Y
0
<
Y
0
^
+
t
α
2
×
S
Y
0
^
−
Y
0
\hat{Y_0}-t_{\frac{\alpha}{2}}\times S_{\hat{Y_0}-Y_0}<Y_0<\hat{Y_0}+t_{\frac{\alpha}{2}}\times S_{\hat{Y_0}-Y_0}
Y0^−t2α×SY0^−Y0<Y0<Y0^+t2α×SY0^−Y0
chapter3 经典单方程计量经济学模型:多元线性回归模型
3.1 多元线性回归模型
3.1.1 多元线性回归模型的形式
一般形式/总体回归函数的随机表达形式:
Y
=
β
0
+
β
1
X
1
+
β
2
X
2
+
⋅
⋅
⋅
+
β
k
X
k
+
μ
Y=\beta_0+\beta_1X_1+\beta_2X_2+···+\beta_k X_k+\mu
Y=β0+β1X1+β2X2+⋅⋅⋅+βkXk+μ
非随机表达式:
E
(
Y
∣
X
1
,
X
2
,
⋅
⋅
⋅
,
X
k
)
=
β
0
+
β
1
X
1
+
β
2
X
2
+
⋅
⋅
⋅
+
β
k
X
k
E(Y|X_1,X_2,···,X_k)=\beta_0+\beta_1X_1+\beta_2X_2+···+\beta_k X_k
E(Y∣X1,X2,⋅⋅⋅,Xk)=β0+β1X1+β2X2+⋅⋅⋅+βkXk
上式所表示的n个随机方程的举证表达式为
Y
=
X
β
+
μ
Y=X\beta+\mu
Y=Xβ+μ
Y
=
(
Y
1
Y
2
⋮
Y
n
)
n
×
1
,
X
=
(
1
X
11
X
12
⋯
X
1
k
1
X
11
X
22
⋯
X
2
k
⋮
⋮
⋮
⋮
⋮
1
X
n
1
X
n
2
⋯
X
n
k
)
n
×
(
k
+
1
)
,
β
=
(
β
0
β
1
⋮
β
k
)
(
k
+
1
)
×
1
,
μ
=
(
μ
1
μ
2
⋮
μ
n
)
n
×
1
,
Y=\begin{pmatrix}Y_1\\Y_2\\\vdots\\Y_n\end{pmatrix}_{n\times 1}, X=\begin{pmatrix}1&X_{11}&X_{12}&\cdots&X_{1k}\\ 1&X_{11}&X_{22}&\cdots&X_{2k}\\ \vdots&\vdots&\vdots&\vdots&\vdots&\\ 1&X_{n1}&X_{n2}&\cdots&X_{nk}\\\end{pmatrix}_{n\times(k+1)}, \beta=\begin{pmatrix}\beta_0\\\beta_1\\\vdots\\\beta_k\end{pmatrix}_{(k+1)\times 1}, \mu=\begin{pmatrix}\mu_1\\\mu_2\\\vdots\\\mu_n\end{pmatrix}_{n\times 1},
Y=⎝⎜⎜⎜⎛Y1Y2⋮Yn⎠⎟⎟⎟⎞n×1,X=⎝⎜⎜⎜⎛11⋮1X11X11⋮Xn1X12X22⋮Xn2⋯⋯⋮⋯X1kX2k⋮Xnk⎠⎟⎟⎟⎞n×(k+1),β=⎝⎜⎜⎜⎛β0β1⋮βk⎠⎟⎟⎟⎞(k+1)×1,μ=⎝⎜⎜⎜⎛μ1μ2⋮μn⎠⎟⎟⎟⎞n×1,
样本回归函数:
Y
^
=
β
^
0
+
β
^
1
X
1
+
⋯
+
β
^
k
X
k
=
X
β
^
\hat Y=\hat\beta_0+\hat\beta_1 X_1+\cdots+\hat\beta_kX_k=X\hat \beta
Y^=β^0+β^1X1+⋯+β^kXk=Xβ^
随机表达式:
Y
=
β
^
0
+
β
^
1
X
1
+
⋯
+
β
^
k
X
k
+
e
=
X
β
^
+
e
Y=\hat\beta_0+\hat\beta_1 X_1+\cdots+\hat\beta_kX_k+e=X\hat \beta+e
Y=β^0+β^1X1+⋯+β^kXk+e=Xβ^+e
3.1.2 多元线性回归模型的基本假设
-
**假设1:**回归模型是正确设定的
-
**假设2:**解释变量 X 1 , X 2 , ⋯ , X k X_1,X_2,\cdots,X_k X1,X2,⋯,Xk在所抽取的样本中具有变异性,各 X j X_j Xj之间不存在严格线性相关性
- X X X矩阵满秩, R ( X ) = k + 1 R(X)=k+1 R(X)=k+1
-
假设3:随机干扰项具有条件零均值性
E ( μ i ∣ X 1 , X 2 , ⋯ , X k ) = 0 E ( μ ∣ X ) = 0 E(\mu_i|X_1,X_2,\cdots,X_k)=0\\ E(\mu|X)=0 E(μi∣X1,X2,⋯,Xk)=0E(μ∣X)=0任何观测点处的随机干扰项 μ \mu μ与任何观测点处各个 X X X都是不相关的,即各 X X X是同期外生的或与 μ \mu μ同期不相关的即
E ( X i ′ μ i ) = 0 E(X_i'\mu_i)=0 E(Xi′μi)=0 -
假设4:随机干扰项具有条件同方差及序列不相关性
{ V a r ( μ i ∣ X 1 , X 2 , ⋯ , X k ) = σ 2 i = 1 , 2 , ⋯ , n C o v ( μ i , μ j ∣ X 1 , X 2 , ⋯ , X k ) = 0 i ≠ j , i , j = 1 , 2 , ⋯ , n \begin{cases} Var(\mu_i|X_1,X_2,\cdots,X_k)=\sigma^2&i=1,2,\cdots,n\\ \\ Cov(\mu_i,\mu_j|X_1,X_2,\cdots,X_k)=0&i\neq j,i,j=1,2,\cdots,n \end{cases} ⎩⎪⎨⎪⎧Var(μi∣X1,X2,⋯,Xk)=σ2Cov(μi,μj∣X1,X2,⋯,Xk)=0i=1,2,⋯,ni=j,i,j=1,2,⋯,nV a r ( μ ∣ X ) = E ( μ μ ′ ∣ X ) = E ( μ 1 2 ⋯ μ 1 μ n ⋮ ⋮ μ n μ 1 ⋯ μ n 2 ∣ X ) = ( σ 2 ⋯ 0 ⋮ ⋮ 0 ⋯ σ 2 ) = σ 2 I Var(\mu|X)=E(\mu\mu'|X)=E(\begin{matrix} \mu_1^2&\cdots&\mu_1\mu_n\\ \vdots&&\vdots\\ \mu_n\mu_1&\cdots&\mu_n^2 \end{matrix}|X) =\begin{pmatrix} \sigma^2&\cdots&0\\ \vdots&&\vdots\\ 0&\cdots&\sigma^2 \end{pmatrix} =\sigma^2I Var(μ∣X)=E(μμ′∣X)=E(μ12⋮μnμ1⋯⋯μ1μn⋮μn2∣X)=⎝⎜⎛σ2⋮0⋯⋯0⋮σ2⎠⎟⎞=σ2I
-
假设5:随机干扰项满足正态分布
μ i ∣ X 1 , X 2 , ⋯ , X k ∼ N ( 0 , σ 2 ) μ ∣ X ∼ N ( 0 , σ 2 I ) \mu_i|X_1,X_2,\cdots,X_k\thicksim N(0,\sigma^2)\\ \mu|X\thicksim N(0,\sigma^2I) μi∣X1,X2,⋯,Xk∼N(0,σ2)μ∣X∼N(0,σ2I)
3.2 多元线性回归模型的参数估计
3.2.1 普通最小二乘估计
根据最小二乘原理,参数估计值应使得
Q
=
Σ
i
=
1
n
e
i
2
=
Σ
i
=
1
n
(
Y
i
−
Y
^
i
)
2
=
Σ
i
=
1
n
(
Y
i
−
(
β
^
0
+
β
^
1
X
i
1
+
β
^
2
X
i
2
+
⋯
+
β
^
k
X
i
k
)
)
2
\begin{aligned} Q&=\Sigma_{i=1}^ne_i^2=\Sigma_{i=1}^n(Y_i-\hat Y_i)^2\\ &=\Sigma_{i=1}^n(Y_i-(\hat\beta_0+\hat\beta_1X_{i1}+\hat\beta_2X_{i2}+\cdots+\hat\beta_kX_{ik}))^2 \end{aligned}
Q=Σi=1nei2=Σi=1n(Yi−Y^i)2=Σi=1n(Yi−(β^0+β^1Xi1+β^2Xi2+⋯+β^kXik))2
最小,即可得到待估参数值的正规方程组:
{
Σ
(
β
^
0
+
β
^
1
X
i
1
+
β
^
2
X
i
2
+
⋯
+
β
^
k
X
i
k
)
=
Σ
Y
i
Σ
(
β
^
0
+
β
^
1
X
i
1
+
β
^
2
X
i
2
+
⋯
+
β
^
k
X
i
k
)
X
i
1
=
Σ
Y
i
X
i
1
Σ
(
β
^
0
+
β
^
1
X
i
1
+
β
^
2
X
i
2
+
⋯
+
β
^
k
X
i
k
)
X
i
2
=
Σ
Y
i
X
i
2
⋯
⋯
⋯
Σ
(
β
^
0
+
β
^
1
X
i
1
+
β
^
2
X
i
2
+
⋯
+
β
^
k
X
i
k
)
X
i
k
=
Σ
Y
i
X
i
k
\begin{cases} \Sigma(\hat\beta_0+\hat\beta_1X_{i1}+\hat\beta_2X_{i2}+\cdots+\hat\beta_kX_{ik})=\Sigma Y_i\\\\ \Sigma(\hat\beta_0+\hat\beta_1X_{i1}+\hat\beta_2X_{i2}+\cdots+\hat\beta_kX_{ik})X_{i1}=\Sigma Y_iX_{i1}\\\\ \Sigma(\hat\beta_0+\hat\beta_1X_{i1}+\hat\beta_2X_{i2}+\cdots+\hat\beta_kX_{ik})X_{i2}=\Sigma Y_iX_{i2}\\\\ \cdots\cdots\cdots\\\\ \Sigma(\hat\beta_0+\hat\beta_1X_{i1}+\hat\beta_2X_{i2}+\cdots+\hat\beta_kX_{ik})X_{ik}=\Sigma Y_iX_{ik} \end{cases}
⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧Σ(β^0+β^1Xi1+β^2Xi2+⋯+β^kXik)=ΣYiΣ(β^0+β^1Xi1+β^2Xi2+⋯+β^kXik)Xi1=ΣYiXi1Σ(β^0+β^1Xi1+β^2Xi2+⋯+β^kXik)Xi2=ΣYiXi2⋯⋯⋯Σ(β^0+β^1Xi1+β^2Xi2+⋯+β^kXik)Xik=ΣYiXik
矩阵形式为:
(
X
′
X
)
β
^
=
X
′
Y
(X'X)\hat\beta=X'Y
(X′X)β^=X′Y
故而
β
^
=
(
X
′
X
)
−
1
X
′
Y
\hat\beta=(X'X)^{-1}X'Y
β^=(X′X)−1X′Y
离差形式的普通最小二乘估计
样本回归模型的离差形式:
y
=
x
β
+
e
y
=
(
y
1
y
2
⋮
y
n
)
n
×
1
,
x
=
(
x
11
x
12
⋯
x
1
k
x
11
x
22
⋯
x
2
k
⋮
⋮
⋮
x
n
1
x
n
2
⋯
x
n
k
)
n
×
k
,
β
^
=
(
β
1
⋮
β
k
)
k
×
1
y=x\beta+e\\ y=\begin{pmatrix}y_1\\y_2\\\vdots\\y_n\end{pmatrix}_{n\times 1}, x=\begin{pmatrix}x_{11}&x_{12}&\cdots&x_{1k}\\ x_{11}&x_{22}&\cdots&x_{2k}\\ \vdots&\vdots&&\vdots&\\ x_{n1}&x_{n2}&\cdots&x_{nk}\\\end{pmatrix}_{n\times k}, \hat\beta=\begin{pmatrix}\beta_1\\\vdots\\\beta_k\end{pmatrix}_{k\times 1}
y=xβ+ey=⎝⎜⎜⎜⎛y1y2⋮yn⎠⎟⎟⎟⎞n×1,x=⎝⎜⎜⎜⎛x11x11⋮xn1x12x22⋮xn2⋯⋯⋯x1kx2k⋮xnk⎠⎟⎟⎟⎞n×k,β^=⎝⎜⎛β1⋮βk⎠⎟⎞k×1
离差形式下参数的最小二乘估计结果:
{
β
^
=
(
x
′
x
)
−
1
x
′
y
β
^
0
=
Y
‾
−
β
^
1
X
‾
1
−
⋯
−
β
^
k
X
‾
k
\begin{cases} \hat\beta=(x'x)^{-1}x'y\\ \hat\beta_0=\overline Y-\hat\beta_1\overline X_1-\cdots-\hat\beta_k\overline X_k \end{cases}
{β^=(x′x)−1x′yβ^0=Y−β^1X1−⋯−β^kXk
随机干扰项μ的方差的普通最小二乘估计
σ
^
2
=
Σ
e
i
2
n
−
k
−
1
=
e
′
e
n
−
k
−
1
\hat\sigma^2=\frac{\Sigma e_i^2}{n-k-1}=\frac{e'e}{n-k-1}
σ^2=n−k−1Σei2=n−k−1e′e
3.2.2 最大似然估计
因为
Y
i
∼
N
(
X
i
β
,
σ
2
)
Y_i\thicksim N(X_i\beta,\sigma^2)
Yi∼N(Xiβ,σ2)
Y的随机抽取n组样本观测值的联合概率为
L
(
β
,
σ
2
)
=
P
(
Y
1
,
Y
2
,
⋯
.
Y
n
)
=
1
(
2
π
)
n
2
σ
n
e
−
1
2
σ
2
(
Y
−
X
β
)
′
(
Y
−
X
β
)
L(\beta,\sigma^2)=P(Y_1,Y_2,\cdots.Y_n)=\frac{1}{(2\pi)^{\frac n 2}\sigma^n}e^{-\frac 1 {2\sigma^2}(Y-X\beta)'(Y-X\beta)}
L(β,σ2)=P(Y1,Y2,⋯.Yn)=(2π)2nσn1e−2σ21(Y−Xβ)′(Y−Xβ)
使概率达到极大值,则可得出一组参数估计量与随机干扰项方差的估计:
{
β
^
=
(
X
′
X
)
−
1
X
′
Y
σ
^
2
=
Σ
e
i
2
n
\begin{cases} \hat\beta=&(X'X)^{-1}X'Y\\\\ \hat\sigma^2=&\frac{\Sigma e_i^2}n \end{cases}
⎩⎪⎨⎪⎧β^=σ^2=(X′X)−1X′YnΣei2
3.2.3 矩估计*
3.2.4 参数估计量的统计性质
-
线性性:参数估计量是被解释变量Y的线性组合
β ^ = ( X ′ X ) − 1 X ′ Y = C Y \hat\beta=(X'X)^{-1}X'Y=CY β^=(X′X)−1X′Y=CY -
无偏性:
E ( β ^ ∣ X ) = E ( ( X ′ X ) − 1 X ′ Y ∣ X ) = E ( ( X ′ X ) − 1 X ′ ( X β + μ ) ∣ X ) = β + ( X ′ X ) − 1 X ′ E ( μ ∣ X ) = β \begin{aligned} E(\hat\beta|X) =&E((X'X)^{-1}X'Y|X)\\ =&E((X'X)^{-1}X'(X\beta+\mu)|X)\\ =&\beta+(X'X)^{-1}X'E(\mu|X)\\ =&\beta \end{aligned} E(β^∣X)====E((X′X)−1X′Y∣X)E((X′X)−1X′(Xβ+μ)∣X)β+(X′X)−1X′E(μ∣X)β -
有效性:
V a r ( β ^ ∣ X ) = σ 2 ( X ′ X ) − 1 Var(\hat\beta|X)=\sigma^2(X'X)^{-1} Var(β^∣X)=σ2(X′X)−1
在所有无偏估计量的方差中是最小的 -
一致性*
3.2.5 样本容量问题
最小样本容量: n ≥ k + 1 n\geq k+1 n≥k+1,样本容量必须不少于模型中解释变量的数目(包括常数项)
满足基本要求的样本容量:一般经验认为,当 n ≥ 30 n\geq30 n≥30或者至少 n ≥ 3 ( k + 1 ) n\geq3(k+1) n≥3(k+1)时,才能满足模型估计的基本要求
3.2.6 多元线性回归模型的参数估计实例
3.3 多元线性回归模型的统计检验
3.3.1 拟合优度检验
可决系数
R
2
=
E
S
S
T
S
S
=
1
−
R
S
S
T
S
S
R^2=\frac{ESS}{TSS}=1-\frac{RSS}{TSS}
R2=TSSESS=1−TSSRSS
其中
总离差平方和
T
S
S
=
Σ
(
Y
i
−
Y
‾
)
2
∼
(
n
−
1
)
回归平方和
E
S
S
=
Σ
(
Y
^
i
−
Y
‾
)
2
∼
(
k
)
残差平方和
R
S
S
=
Σ
(
Y
i
−
Y
^
i
)
2
∼
(
n
−
k
−
1
)
\begin{aligned} &\text{总离差平方和}&TSS=\Sigma(Y_i-\overline Y)^2&\thicksim(n-1)\\ &\text{回归平方和}&ESS=\Sigma(\hat Y_i-\overline Y)^2&\thicksim(k)\\ &\text{残差平方和}&RSS=\Sigma(Y_i-\hat Y_i)^2&\thicksim(n-k-1) \end{aligned}
总离差平方和回归平方和残差平方和TSS=Σ(Yi−Y)2ESS=Σ(Y^i−Y)2RSS=Σ(Yi−Y^i)2∼(n−1)∼(k)∼(n−k−1)
且有
T
S
S
=
E
S
S
+
R
S
S
TSS=ESS+RSS
TSS=ESS+RSS
可决系数越接近1,模型的拟合度越高
调整的可决系数:剔除变量个数对拟合优度的影响
R
‾
2
=
1
−
R
S
S
/
(
n
−
k
−
1
)
T
S
S
/
(
n
−
1
)
=
1
−
(
1
−
R
2
)
n
−
1
n
−
k
−
1
\overline R^2=1-\frac{RSS/(n-k-1)}{TSS/(n-1)}=1-(1-R^2)\frac{n-1}{n-k-1}
R2=1−TSS/(n−1)RSS/(n−k−1)=1−(1−R2)n−k−1n−1
赤池信息准则和施瓦茨准则
A
I
C
=
ln
e
′
e
n
+
2
(
k
+
1
)
n
+
1
+
ln
(
2
π
)
S
C
=
ln
e
′
e
n
+
k
+
1
n
ln
n
+
1
+
ln
(
2
π
)
AIC=\ln\frac{e'e}n+\frac{2(k+1)}n+1+\ln(2\pi)\\ SC=\ln\frac{e'e}n+\frac{k+1}n\ln n+1+\ln(2\pi)
AIC=lnne′e+n2(k+1)+1+ln(2π)SC=lnne′e+nk+1lnn+1+ln(2π)
仅当所增加的解释变量能够减少AIC值或者SC值时才在原模型中增加该解释变量
3.3.2 方程总体线性的显著性检验(F检验)
方程显著性的F检验:检验参数
β
0
,
⋯
,
β
k
\beta_0,\cdots,\beta_k
β0,⋯,βk显著不为0
H
0
:
β
1
=
0
,
β
2
=
0
,
⋯
,
β
k
=
0
H
1
:
β
j
不
全
为
0
\begin{aligned} &H_0:\beta_1=0,\beta_2=0,\cdots,\beta_k=0\\\\ &H_1:\beta_j不全为0 \end{aligned}
H0:β1=0,β2=0,⋯,βk=0H1:βj不全为0
统计量
F
=
E
S
S
/
k
R
S
S
/
(
n
−
k
−
1
)
∼
F
(
k
,
n
−
k
−
1
)
F=\frac{ESS/k}{RSS/(n-k-1)}\thicksim F(k,n-k-1)
F=RSS/(n−k−1)ESS/k∼F(k,n−k−1)
当
F
>
F
α
(
k
,
n
−
k
−
1
)
F>F_\alpha(k,n-k-1)
F>Fα(k,n−k−1)时拒绝原假设
H
0
H_0
H0
关于拟合优度检验与方程总体现行的显著性检验关系的讨论:
R
‾
2
=
1
−
n
−
1
n
−
k
−
1
+
k
F
F
=
R
2
/
k
(
1
−
R
2
)
/
(
n
−
k
−
1
)
\begin{aligned} &\overline R^2&=&1-\frac{n-1}{n-k-1+kF}\\ \\ &F&=&\frac{R^2/k}{(1-R^2)/(n-k-1)} \end{aligned}
R2F==1−n−k−1+kFn−1(1−R2)/(n−k−1)R2/k
F 、 R 2 F、R^2 F、R2同向变化:
R 2 = 0 ↔ F = 1 R^2=0\leftrightarrow F=1 R2=0↔F=1
R 2 = 1 ↔ F = + ∞ R^2=1\leftrightarrow F=+\infty R2=1↔F=+∞
H 0 : β 1 = 0 , β 2 = 0 , ⋯ , β k = 0 ⇔ R 2 = 0 H_0:\beta_1=0,\beta_2=0,\cdots,\beta_k=0\Leftrightarrow R^2=0 H0:β1=0,β2=0,⋯,βk=0⇔R2=0
在应用中不必对 R ‾ 2 \overline R^2 R2过于苛求,重要的是需考察模型的经济关系是否合理
3.3.3 变量的显著性检验(t检验)
t统计量:记
c
j
j
c_{jj}
cjj为矩阵
(
X
′
X
)
−
1
(X'X)^{-1}
(X′X)−1主对角线上的第j个元素:
V
a
r
(
β
^
j
)
=
σ
2
c
j
j
Var(\hat\beta_j)=\sigma^2c_{jj}
Var(β^j)=σ2cjj
通过
β
^
j
∼
N
(
β
j
,
σ
2
c
j
j
)
\hat\beta_j\thicksim N(\beta_j,\sigma^2c_{jj})
β^j∼N(βj,σ2cjj),可以构造如下t统计量
t
=
β
^
j
−
β
j
S
β
^
j
=
β
^
j
−
β
j
c
j
j
e
′
e
n
−
k
−
1
∼
t
(
n
−
k
−
1
)
t=\frac{\hat\beta_j-\beta_j}{S_{\hat\beta_j}}=\frac{\hat\beta_j-\beta_j}{\sqrt{c_{jj}\frac{e'e}{n-k-1}}}\thicksim t(n-k-1)
t=Sβ^jβ^j−βj=cjjn−k−1e′eβ^j−βj∼t(n−k−1)
t检验
H
0
:
β
j
=
0
H
1
:
β
j
≠
0
\begin{aligned} &H_0:\beta_j=0\\\\ &H_1:\beta_j\neq0 \end{aligned}
H0:βj=0H1:βj=0
在一元线性回归中,t检验与F检验时一致的
∣ t ∣ > t α 2 ( n − k − 1 ) \vert t\vert >t_{\frac \alpha 2}(n-k-1) ∣t∣>t2α(n−k−1)时拒绝原假设,从而判定对应的解释变量是否应被包含在模型中
3.3.4 参数的置信区间估计
在
1
−
α
1-\alpha
1−α的置信度下
β
j
\beta_j
βj的置信区间为
(
β
^
j
−
t
α
2
×
S
β
^
j
,
β
^
j
+
t
α
2
×
S
β
^
j
)
(\hat\beta_j-t_{\frac\alpha 2}\times S_{\hat\beta_j},\hat\beta_j+t_{\frac\alpha 2}\times S_{\hat\beta_j})
(β^j−t2α×Sβ^j,β^j+t2α×Sβ^j)
缩小置信区间的方法:
- 增大样本容量n
- 提高模型的拟合优度以减少残差平方和 e ′ e e'e e′e
- 提高样本观测值的分散度以降低 c j j c_{jj} cjj
3.4 多元线性回归模型的预测
3.4.1 E(Y0)的置信区间
1
−
α
1-\alpha
1−α的置信度下
E
(
Y
0
)
E(Y_0)
E(Y0)的置信区间:
Y
^
0
−
t
α
2
×
σ
^
X
0
(
X
′
X
)
−
1
X
0
′
<
E
(
Y
0
)
<
Y
^
0
+
t
α
2
×
σ
^
X
0
(
X
′
X
)
−
1
X
0
′
\hat Y_0-t_{\frac\alpha 2}\times\hat \sigma \sqrt{X_0(X'X)^{-1}X_0'}<E(Y_0)<\hat Y_0+t_{\frac\alpha 2}\times\hat \sigma \sqrt{X_0(X'X)^{-1}X_0'}
Y^0−t2α×σ^X0(X′X)−1X0′<E(Y0)<Y^0+t2α×σ^X0(X′X)−1X0′
3.4.2 Y0的置信区间
1
−
α
1-\alpha
1−α的置信度下
Y
0
Y_0
Y0的置信区间:
Y
^
0
−
t
α
2
×
σ
^
1
+
X
0
(
X
′
X
)
−
1
X
0
′
<
Y
0
<
Y
^
0
+
t
α
2
×
σ
^
1
+
X
0
(
X
′
X
)
−
1
X
0
′
\hat Y_0-t_{\frac\alpha 2}\times\hat \sigma \sqrt{1+X_0(X'X)^{-1}X_0'}<Y_0<\hat Y_0+t_{\frac\alpha 2}\times\hat \sigma \sqrt{1+X_0(X'X)^{-1}X_0'}
Y^0−t2α×σ^1+X0(X′X)−1X0′<Y0<Y^0+t2α×σ^1+X0(X′X)−1X0′
3.5 可化为线性的多元非线性回归模型
3.5.1 模型的类型与变换
倒数模型、多项式模型与变量的直接置换法
进行变量替换
幂函数模型、指数函数模型与函数变换法
取对数后进行变量替换
复杂函数模型与级数展开法
3.5.2 可化为线性的非线性回归实例
3.6 含有虚拟变量的多元线性回归模型
3.6.1 含有虚拟变量的模型
一些影响经济变量的因素无法定量度量,构造只取0、1的人工变量,通常被称为虚拟变量,记为 D D D
基础类型和肯定类型取值为1;比较类型和否定类型取值为0
3.6.2 虚拟变量的引入
加法方式:可以考察截距的不同
Y
i
=
β
0
+
β
1
X
i
+
β
2
D
1
+
β
3
D
2
+
μ
i
Y_i=\beta_0+\beta_1X_i+\beta_2D_1+\beta_3D_2+\mu_i
Yi=β0+β1Xi+β2D1+β3D2+μi
乘法方式:测度斜率的变化
Y
i
=
β
0
+
β
1
X
i
+
β
2
D
i
X
i
+
μ
i
Y_i=\beta_0+\beta_1X_i+\beta_2D_iX_i+\mu_i
Yi=β0+β1Xi+β2DiXi+μi
3.6.3 虚拟变量的设置原则
每一定性变量所需的虚拟变量个数要比类别少1,否则会出现虚拟变量陷阱
3.7 受约束回归
3.7.1 模型参数的线性约束
F检验
在统一数据样本下,记无约束样本回归模型的矩阵式为:
Y
=
X
β
^
+
e
Y=X\hat\beta +e
Y=Xβ^+e
受约束样本回归模型的矩阵式为:
Y
=
X
β
^
∗
+
e
∗
Y=X\hat\beta_*+e_*
Y=Xβ^∗+e∗
判断约束条件是否为真的检验量:
F
=
(
R
S
S
R
−
R
S
S
U
)
/
(
k
U
−
k
R
)
R
S
S
U
/
(
n
−
k
U
−
1
)
∼
F
(
k
U
−
k
R
,
n
−
k
U
−
1
)
F=\frac{(RSS_R-RSS_U)/(k_U-k_R)}{RSS_U/(n-k_U-1)}\thicksim F(k_U-k_R,n-k_U-1)
F=RSSU/(n−kU−1)(RSSR−RSSU)/(kU−kR)∼F(kU−kR,n−kU−1)
k为回归模型中解释变量的个数(不包括常数项)
若 F < F α 2 ( k U − k R , n − k U − 1 ) F<F_\frac\alpha 2(k_U-k_R,n-k_U-1) F<F2α(kU−kR,n−kU−1),则不拒绝约束条件
3.7.2 对回归模型增加或减少解释变量
考虑两个回归模型:
Y
=
β
0
+
β
1
X
1
+
⋯
+
β
k
X
k
+
μ
Y
=
β
0
+
β
1
X
1
+
⋯
+
β
k
+
q
X
k
+
q
+
μ
Y=\beta_0+\beta_1X_1+\cdots+\beta_kX_k+\mu\\ Y=\beta_0+\beta_1X_1+\cdots+\beta_{k+q}X_{k+q}+\mu
Y=β0+β1X1+⋯+βkXk+μY=β0+β1X1+⋯+βk+qXk+q+μ
H 0 : β k + 1 = ⋯ = β q = 0 H_0:\beta_{k+1}=\cdots=\beta_q=0 H0:βk+1=⋯=βq=0
相应的F统计量:
F
=
(
R
S
S
R
−
R
S
S
U
)
/
q
R
S
S
U
/
(
n
−
(
k
+
q
−
1
)
)
∼
F
(
q
,
n
−
(
k
+
q
+
1
)
)
F=\frac{(RSS_R-RSS_U)/q}{RSS_U/(n-(k+q-1))}\thicksim F(q,n-(k+q+1))
F=RSSU/(n−(k+q−1))(RSSR−RSSU)/q∼F(q,n−(k+q+1))
3.7.3 检验不同组之间回归函数的差异
邹氏参数稳定检验
F统计量:
F
=
[
R
S
S
R
−
(
R
S
S
1
+
R
S
S
2
)
]
/
(
k
+
1
)
(
R
S
S
1
+
R
S
S
2
)
/
[
n
1
+
n
2
−
2
(
k
+
1
)
]
∼
F
[
k
+
1
,
n
1
+
n
2
−
2
(
k
+
1
)
]
F=\frac{[RSS_R-(RSS_1+RSS_2)]/(k+1)}{(RSS_1+RSS_2)/[n_1+n_2-2(k+1)]}\thicksim F[k+1,n_1+n_2-2(k+1)]
F=(RSS1+RSS2)/[n1+n2−2(k+1)][RSSR−(RSS1+RSS2)]/(k+1)∼F[k+1,n1+n2−2(k+1)]
3.7.4 非线性约束
最大似然比检验LR
L
R
=
−
2
[
ln
L
(
β
~
,
σ
~
2
)
−
ln
L
(
β
^
,
σ
^
2
)
]
∼
χ
2
(
h
)
LR=-2[\ln L(\tilde \beta,\tilde\sigma^2)-\ln L(\hat\beta,\hat\sigma^2)]\thicksim \chi^2(h)
LR=−2[lnL(β~,σ~2)−lnL(β^,σ^2)]∼χ2(h)
h为约束条件的个数
沃尔德检验WD:只估计无约束模型
若对模型
Y
=
β
0
+
β
1
X
1
+
⋯
+
β
k
X
k
+
μ
Y=\beta_0+\beta_1X_1+\cdots+\beta_kX_k+\mu
Y=β0+β1X1+⋯+βkXk+μ检验
β
1
+
β
2
=
1
\beta_1+\beta_2=1
β1+β2=1的约束,可建立沃尔德统计量:
W
=
(
β
^
1
+
β
^
2
−
1
)
2
σ
~
β
^
1
+
β
^
2
2
∼
χ
2
(
1
)
W=\frac{(\hat\beta_1+\hat\beta_2-1)^2}{\tilde{\sigma}^2_{\hat\beta_1+\hat\beta_2}}\thicksim \chi^2(1)
W=σ~β^1+β^22(β^1+β^2−1)2∼χ2(1)
对于检验非线性约束
β
1
β
2
=
1
\beta_1\beta_2=1
β1β2=1:
W
=
(
β
^
1
β
^
2
−
1
)
2
σ
~
β
^
1
β
^
2
2
∼
χ
2
(
1
)
W=\frac{(\hat\beta_1\hat\beta_2-1)^2}{\tilde{\sigma}^2_{\hat\beta_1\hat\beta_2}}\thicksim \chi^2(1)
W=σ~β^1β^22(β^1β^2−1)2∼χ2(1)
拉格朗日乘数检验LM:只估计受约束模型
L
M
=
n
R
2
∼
χ
(
h
)
LM=nR^2\thicksim \chi(h)
LM=nR2∼χ(h)
其中h为约束条件个数,
R
2
R^2
R2为辅助回归的可决系数:
e
R
=
δ
0
+
δ
1
X
1
+
⋯
+
δ
k
X
k
e_R=\delta_0+\delta_1X_1+\cdots+\delta_kX_k
eR=δ0+δ1X1+⋯+δkXk
一般有
L
M
≤
L
R
≤
W
LM\leq LR\leq W
LM≤LR≤W
chapter4 经典单方程计量经济学模型:放宽基本假定的模型
4.1 多重共线性
4.1.1 多重共线性的含义
某两个或多个解释变量之间出现了相关性,存在某个解释变量可以由其他解释变量代替
对于模型 Y i = β 0 + β 1 X i 1 + ⋯ + β k X i k + μ i Y_i=\beta_0+\beta_1X_{i1}+\cdots+\beta_kX_{ik}+\mu_i Yi=β0+β1Xi1+⋯+βkXik+μi:
完全共线性:存在
c
i
c_i
ci不全为0,使
c
1
X
i
1
+
c
2
X
i
2
+
⋯
+
c
k
X
i
k
=
0
c_1X_{i1}+c_2X_{i2}+\cdots+c_kX_{ik}=0
c1Xi1+c2Xi2+⋯+ckXik=0
近似共线性:存在
c
i
c_i
ci不全为0、随机干扰项
v
i
v_i
vi,使
c
1
X
i
1
+
c
2
X
i
2
+
⋯
+
c
k
X
i
k
+
v
i
=
0
c_1X_{i1}+c_2X_{i2}+\cdots+c_kX_{ik}+v_i=0
c1Xi1+c2Xi2+⋯+ckXik+vi=0
4.1.2 实际经济问题中的多重共线性
- 经济变量相关的共同趋势
- 模型设定不严谨
- 样本资料的限制
4.1.3 多重共线性的后果
-
完全共线性下参数估计量不存在
β ^ = ( X ′ X ) − 1 X ′ Y \hat\beta=(X'X)^{-1}X'Y β^=(X′X)−1X′Y在出现参数完全共线性时时不存在的
-
近似共线性下普通最小二乘法参数估计量的方差变大
V a r ( β ^ ) = σ 2 ( X ′ X ) − 1 Var(\hat\beta)=\sigma^2(X'X)^{-1} Var(β^)=σ2(X′X)−1,此时 ( X ′ X ) ≈ 0 (X'X)\approx0 (X′X)≈0,使得参数估计量的方差增大
方差膨胀因子VIF
r 2 = ( Σ x i 1 x i 2 ) 2 Σ x i 1 2 Σ x i 2 2 V I F = 1 1 − r 2 r^2=\frac{(\Sigma x_{i1}x_{i2})^2}{\Sigma x_{i1}^2\Sigma x_{i2}^2}\\ VIF=\frac 1{1-r^2} r2=Σxi12Σxi22(Σxi1xi2)2VIF=1−r21是否共线性 V a r ( β ^ 1 ) Var(\hat\beta_1) Var(β^1) 完全不共线性 σ 2 Σ x i 1 2 \frac{\sigma^2}{\Sigma x_{i1}^2} Σxi12σ2 近似共线性 σ 2 Σ x i 1 2 ⋅ 1 1 − r 2 \frac{\sigma^2}{\Sigma x_{i1}^2}\cdot \frac 1 {1-r^2} Σxi12σ2⋅1−r21 完全共线性 + ∞ +\infty +∞ -
参数估计量经济意义不合理
-
变量的显著性检验和模型的预测功能失去意义
4.1.4 多重共线性的检验
多重共线性的存在性
- 对两个解释变量的模型:求出 X 1 、 X 2 X_1、X_2 X1、X2的相关系数 r r r,如果 ∣ r ∣ → 1 \vert r\vert\rightarrow 1 ∣r∣→1则说明两变量存在较强的多重共线性
- 对多个解释变量的模型:若在普通最小二乘法下,模型的 R 2 、 F R^2、F R2、F值均较大,但各参数估计的 t t t检验值较小,说明各解释变量对Y的联合线性作用显著,但各变量间存在共线性使得他们对于Y的独立作用不能分辨
判明存在多重共线性的范围
-
判定系数检验
-
F j = R j / ( k − 1 ) ( 1 − R j 2 ) / ( n − k ) ∼ F ( k − 1 , n − k ) F_j=\frac{R_j/(k-1)}{(1-R_j^2)/(n-k)}\thicksim F(k-1,n-k) Fj=(1−Rj2)/(n−k)Rj/(k−1)∼F(k−1,n−k)
R j R_j Rj为第j个解释变量对其他解释变量的回归方程的决定系数
若存在较强的共线性,则 R j → 1 , F j → + ∞ R_j\rightarrow 1,F_j\rightarrow +\infty Rj→1,Fj→+∞。原假设设定为 X j X_j Xj与其他解释变量间不存在显著的线性关系
-
在模型中排除某个解释变量后,拟合优度改变不是很明显,则说明该解释变量与其他解释变量之间存在共线性
-
-
逐步回归法
- 以Y为被解释变量,逐个引入解释变量,构成回归模型
- 如果拟合优度变化显著,则说明新引入的变量是一个独立解释变量
4.1.5 克服多重共线性的方法
- 第一类方法:排除引起共线性的变量
- 第二类方法:减小参数估计量的方差
多重共线性是一种样本现象,同一个模型在一个样本中出现多重共线性,但在另一个样本中可能不存在
只要方程估计的参数标准差较小,t统计值较大,就没有必要过于担心该问题
4.2 异方差性
对于不同的样本点,随机干扰项的方差不再是常数,而是互不相同
4.2.1 异方差的类型
- 单调递增型: σ i 2 \sigma_i^2 σi2随 X X X的增大而增大
- 单调递减型: σ i 2 \sigma_i^2 σi2随 X X X的增大而减小
- 复杂型: σ i 2 \sigma_i^2 σi2随 X X X的增大呈复杂形式
4.2.3 异方差性的后果
-
参数估计量非有效
模型出现异方差性时,普通最小二乘法参数估计量依然具有线性性、无偏性,但失去有效性
-
变量的显著性检验失去意义
在有偏误的方差基础上构造的t统计量不再服从真实的t分布,t检验失去意义
-
模型的预测失效
4.2.4 异方差性的检验
检验随机干扰项方差与解释变量观测值之间的相关性
-
布罗施-帕甘检验Breusch-Pagan(B-P检验)
针对辅助回归
e i 2 = δ 0 + δ 1 X i 1 + ⋯ + δ k X i k + ϵ i e_i^2=\delta_0+\delta_1X_{i1}+\cdots+\delta_kX_{ik}+\epsilon_i ei2=δ0+δ1Xi1+⋯+δkXik+ϵi
检验同方差性即检验
H 0 : δ 0 = δ 1 = δ 2 = ⋯ = δ k = 0 H_0:\delta_0=\delta_1=\delta_2=\cdots=\delta_k=0 H0:δ0=δ1=δ2=⋯=δk=0
可以利用F检验或LM检验:
F = R e 2 2 / k ( 1 − R e 2 2 ) / ( n − k − 1 ) ∼ F ( k , n − k − 1 ) L M = n ⋅ R e 2 2 ∼ χ ( k ) \begin{aligned} &F=\frac{R_{e^2}^2/k}{(1-R_{e^2}^2)/(n-k-1)}\thicksim F(k,n-k-1)\\\\ &LM=n\cdot R_{e^2}^2\thicksim \chi(k) \end{aligned} F=(1−Re22)/(n−k−1)Re22/k∼F(k,n−k−1)LM=n⋅Re22∼χ(k) -
怀特检验White
相比B-P检验引入解释变量的更高次方
4.2.5 异方差的修正
加权最小二乘法WLS
对原模型加权,使之变成一个新的不存在异方差性的模型,然后采用普通最小二乘法估计其参数
对较小的残差平方 e i 2 e_i^2 ei2赋予较大权数,对较大的残差平方 e i 2 e_i^2 ei2赋予较小权数
若 V a r ( μ i ) = f ( X j i ) σ 2 Var(\mu_i)=f(X_{ji})\sigma^2 Var(μi)=f(Xji)σ2
则构建新模型 1 f ( X j i ) Y i = β 0 1 f ( X j i ) + β 1 1 f ( X j i ) X 1 i + ⋯ + β k 1 f ( X j i ) X k i + 1 f ( X j i ) μ i \frac 1 {\sqrt{f(X_{ji})}}Y_i=\beta_0\frac 1 {\sqrt{f(X_{ji})}}+\beta_1\frac 1 {\sqrt{f(X_{ji})}}X_{1i}+\cdots+\beta_k\frac 1 {\sqrt{f(X_{ji})}}X_{ki}+\frac 1 {\sqrt{f(X_{ji})}}\mu_i f(Xji)1Yi=β0f(Xji)1+β1f(Xji)1X1i+⋯+βkf(Xji)1Xki+f(Xji)1μi
加权最小二乘法又称广义最小二乘法GLS
若有
V
a
r
(
μ
i
∣
X
i
1
,
X
i
2
,
⋯
,
X
i
k
)
=
f
(
X
i
1
,
X
i
2
,
⋯
,
X
i
k
)
σ
2
Var(\mu_i|X_{i1},X_{i2},\cdots,X_{ik})=f(X_{i1},X_{i2},\cdots,X_{ik})\sigma^2
Var(μi∣Xi1,Xi2,⋯,Xik)=f(Xi1,Xi2,⋯,Xik)σ2
则加权最小二乘法中的权即为
1
f
(
X
i
1
,
X
i
2
,
⋯
,
X
i
k
)
\frac{1}{\sqrt{f(X_{i1},X_{i2},\cdots,X_{ik})}}
f(Xi1,Xi2,⋯,Xik)1
异方差稳健标准误法
用普通最小二乘法估计的残差平方
e
i
2
e_i^2
ei2代替
σ
i
2
\sigma_i^2
σi2
V
a
r
(
β
^
1
)
=
Σ
x
i
2
σ
i
2
(
Σ
x
i
2
)
2
⇒
V
a
r
(
β
^
1
)
=
Σ
x
i
2
e
i
2
(
Σ
x
i
2
)
2
Var(\hat\beta_1)=\frac{\Sigma x_i^2\sigma_i^2}{(\Sigma x_i^2)^2}\Rightarrow Var(\hat\beta_1)=\frac{\Sigma x_i^2e_i^2}{(\Sigma x_i^2)^2}
Var(β^1)=(Σxi2)2Σxi2σi2⇒Var(β^1)=(Σxi2)2Σxi2ei2
4.3 内生解释变量问题
4.3.1 内生解释变量问题的提出
-
内生解释变量与随机干扰项同期无关但异期相关
C o v ( X i 2 , μ i − s ) = E ( X i 2 μ i − s ) ≠ 0 Cov(X_{i2},\mu_{i-s})=E(X_{i2}\mu_{i-s})\neq 0 Cov(Xi2,μi−s)=E(Xi2μi−s)=0 -
内生解释变量与随机干扰项同期相关
C o v ( X i 2 , μ i ) = E ( X i 2 μ i ) ≠ 0 Cov(X_{i2},\mu_i)=E(X_{i2}\mu_i)\neq 0 Cov(Xi2,μi)=E(Xi2μi)=0
4.3.3 内生解释变量的后果
参数估计量有偏且不具有一致性
4.3.4 工具变量法
-
工具变量Z的选取
- 与所替代的随机解释变量高度相关: C o v ( Z , X j ) ≠ 0 Cov(Z,X_j)\neq 0 Cov(Z,Xj)=0
- 与随机干扰项不相关: C o v ( Z , μ ) = 0 Cov(Z,\mu)=0 Cov(Z,μ)=0
- 与模型中其他解释变量不高度相关,以避免出现严重的多重共线性
-
获得工具变量法估计量
β ~ = ( Z ′ X ) − 1 Z ′ Y \tilde \beta=(Z'X)^{-1}Z'Y β~=(Z′X)−1Z′Y -
工具变量法是一致有偏估计量
-
两阶段最小二乘法
工具变量并没改变原模型,只是在原模型的参数估计过程中用工具变量的信息替代了内生解释变量的信息
step1:用普通最小二乘法进行X关于工具变量Z的回归:
X ^ i = α ^ 0 + α ^ 1 Z i \hat X_i=\hat \alpha_0+\hat\alpha_1Z_i X^i=α^0+α^1Zi
step2:用第一步得到的 X ^ i \hat X_i X^i为解释变量,进行普通最小二乘回归:
Y i = β 0 + β 1 X ^ i + μ i X i + μ i Y_i=\beta_0+\beta_1\hat X_i+\mu_iX_i+\mu_i Yi=β0+β1X^i+μiXi+μi
4.3.5 内生性检验与过度识别约束检验
-
内生性检验
对于模型 Y i = β 0 + β 1 X i + β 2 Z i 1 + μ i Y_i=\beta_0+\beta_1X_i+\beta_2Z_{i1}+\mu_i Yi=β0+β1Xi+β2Zi1+μi怀疑 X X X是同期内生变量
step1:将 X X X关于外生变量 Z 1 Z_1 Z1、 Z 2 Z_2 Z2做普通最小二乘估计:
X i = α 0 + α 1 Z i 1 + α 2 Z i 2 + v i X_i=\alpha_0+\alpha_1Z_{i1}+\alpha_2Z_{i2}+v_i Xi=α0+α1Zi1+α2Zi2+vi
得到残差项 v ^ i \hat v_i v^istep2:将 v ^ i \hat v_i v^i加入到原模型中,在进行普通最小二乘估计:
Y i = β 0 + β 1 X i + β 2 Z i 1 + δ v ^ i + ϵ i Y_i=\beta_0+\beta_1X_i+\beta_2Z_{i1}+\delta \hat v_i+\epsilon_i Yi=β0+β1Xi+β2Zi1+δv^i+ϵi
如果 v ^ i \hat v_i v^i前参数 δ \delta δ显著为0,则 X X X与 μ \mu μ同期无关 -
过度识别约束检验
对工具变量的外生性进行检验
对有一个内生变量 X X X与一个外生变量 Z Z Z的二元线性回归模型
Y i = β 0 + β 1 X i + β 2 Z i + μ i Y_i=\beta_0+\beta_1X_i+\beta_2Z_{i}+\mu_i Yi=β0+β1Xi+β2Zi+μi
如果内生变量 X X X找到两个工具变量 Z 1 、 Z 2 Z_1、Z_2 Z1、Z2,记两阶段最小二乘回归2SLS的参数估计为 β ~ 0 、 β ~ 1 、 β ~ 2 \tilde\beta_0、\tilde\beta_1、\tilde\beta_2 β~0、β~1、β~2,残差为 μ ~ i \tilde\mu_i μ~i
μ ~ i = Y i − ( β ~ 0 + β ~ 1 X i + β ~ 2 Z i ) \tilde\mu_i=Y_i-(\tilde\beta_0+\tilde\beta_1X_i+\tilde\beta_2Z_i) μ~i=Yi−(β~0+β~1Xi+β~2Zi)
将 μ ~ i \tilde\mu_i μ~i关于所有工具变量 Z 1 、 Z 2 Z_1、Z_2 Z1、Z2及原模型中的外生变量做辅助回归
μ ~ i = δ 0 + δ 1 Z i 1 + δ 2 Z i 2 + δ 3 Z i + ϵ i \tilde\mu_i=\delta_0+\delta_1Z_{i1}+\delta_2Z_{i2}+\delta_3Z_i+\epsilon_i μ~i=δ0+δ1Zi1+δ2Zi2+δ3Zi+ϵi
记该辅助回归的可决系数为 R 2 R^2 R2
H 0 : Z 1 、 Z 2 同 时 为 外 生 变 量 J = n R 2 ∼ χ 2 ( 2 − 1 ) H_0:Z_1、Z_2同时为外生变量\\ J=nR^2\thicksim \chi^2(2-1) H0:Z1、Z2同时为外生变量J=nR2∼χ2(2−1)- 当工具变量的个数恰好等于内生变量的个数时,无法检验工具变量的外生性
4.4 模型设定偏误问题
4.4.1 模型设定偏误的类型
- 相关变量的遗漏
- 无关变量的误选
- 错误的函数形式
4.4.2 模型设定偏误的后果
-
遗漏相关变量偏误
- 漏掉的 X 2 X_2 X2与 X 1 X_1 X1相关,结果在小样本下有偏,在大样本下非一致
- 漏掉的 X 2 X_2 X2与 X 1 X_1 X1不相关,则常数项系数 α 0 \alpha_0 α0的估计有偏且非一致, α 1 \alpha_1 α1的估计无偏一致
- 随机干扰项的方差估计 σ ^ 2 \hat\sigma^2 σ^2有偏
- α 1 \alpha_1 α1是正确参数 β 1 \beta_1 β1的有偏估计量
-
包含无关变量偏误
普通最小二乘估计量仍是无偏一致的, σ 2 \sigma^2 σ2 也能被正确估计,但是估计量往往是无效的
错误模型的普通最小二乘估计量的方差一般较大
-
错误函数的偏误
两者具有完全不同的经济意义
4.4.3 模型设定偏误的检验
-
检验是否含有无关变量:其系数是否显著为0
-
检验是否有相关变量的遗漏或函数形式设定偏误
-
残差图示法
- 残差序列随某解释变量持续上升:遗漏与该解释变量正相关的变量
- 残差序列随某解释变量持续下降:遗漏与该解释变量负相关的变量
-
一般性设定偏误检验RESET检验
-
先估计 Y ^ = α ^ 0 + α ^ 1 X 1 \hat Y=\hat\alpha_0+\hat\alpha_1X_1 Y^=α^0+α^1X1
-
用 Y ^ \hat Y Y^的若干次幂来替代变量
Y = β 0 + β 1 X 1 + γ 1 Y ^ 2 + γ 2 Y ^ 3 + μ Y=\beta_0+\beta_1X_1+\gamma_1\hat Y^2+\gamma_2\hat Y^3+\mu Y=β0+β1X1+γ1Y^2+γ2Y^3+μ
再判断 γ \gamma γ的参数是否显著不为零采用高次幂的形式既可以避免自由度的损失和多重共线性的问题,同时它已包含解释变量的高次幂及交叉项提供的信息
-
-
chapter5 时间序列计量经济学模型
5.1 时间序列模型的序列相关性
5.1.1 序列相关性
对于模型
Y
t
=
β
0
+
β
1
X
t
1
+
⋯
+
β
k
X
t
k
+
μ
t
Y_t=\beta_0+\beta_1X_{t1}+\cdots+\beta_kX_{tk}+\mu_t
Yt=β0+β1Xt1+⋯+βkXtk+μt
随机干扰项序列相关则意味着
C
o
v
(
μ
i
,
μ
j
)
=
E
(
μ
i
μ
j
)
≠
0
或
V
a
r
(
μ
)
≠
σ
2
I
Cov(\mu_i,\mu_j)=E(\mu_i\mu_j)\neq 0或Var(\mu)\neq \sigma^2I
Cov(μi,μj)=E(μiμj)=0或Var(μ)=σ2I
一阶序列相关/自相关
μ
t
=
ρ
μ
t
−
1
+
ϵ
t
,
1
−
≤
ρ
≤
1
\mu_t=\rho\mu_{t-1}+\epsilon_t,1-\leq\rho\leq 1
μt=ρμt−1+ϵt,1−≤ρ≤1
其中
ρ
\rho
ρ为自协方差系数/一阶自相关系数,
ϵ
i
\epsilon_i
ϵi是满足普通最小二乘法假定的随机干扰项:
E
(
ϵ
t
)
=
0
V
a
r
(
ϵ
t
)
=
σ
2
C
o
v
(
ϵ
t
,
ϵ
t
−
s
)
=
0
\begin{aligned} &E(\epsilon_t)=0\\ &Var(\epsilon_t)=\sigma^2\\ &Cov(\epsilon_t,\epsilon_{t-s})=0 \end{aligned}
E(ϵt)=0Var(ϵt)=σ2Cov(ϵt,ϵt−s)=0
5.1.2 实际经济问题中的序列相关性
- 经济变量固有的惯性
- 模型设定的偏误
- 数据的“编造”
5.1.3 序列相关性的后果
- 参数估计量非有效,依然具有线性无偏性但不再具有渐进有效性
- 变量的显著性检验失去意义,估计的参数方差 S β ^ j S_{\hat\beta_j} Sβ^j出现偏误
- 模型的预测失效
5.1.4 序列相关性的检验
采用普通最小二乘法估计模型,求得残差序列
e
t
e_t
et
e
~
t
=
Y
t
−
(
Y
^
t
)
O
L
S
\tilde e_t=Y_t-(\hat Y_t)_{OLS}
e~t=Yt−(Y^t)OLS
-
图示法
-
回归检验法
以 e t e_t et为被解释变量,各自可能的相关量如 e t − 1 、 e t − 2 、 e t 2 e_{t-1}、e_{t-2}、e_t^2 et−1、et−2、et2等作为解释变量,建立各种方程
e t = ρ 1 e t − 1 + ρ 2 e t − 2 + ϵ t e_t=\rho_1 e_{t-1}+\rho_2e_{t-2}+\epsilon_t et=ρ1et−1+ρ2et−2+ϵt
对方程进行估计并进行显著性检验优点:一旦确定了模型存在序列相关性,也就同时知道了相关的形式,适用于任何类型的序列相关性问题检验
-
D.W.检验
条件:
-
解释变量X非随机
-
随机干扰项 μ t \mu_t μt为一阶自回归形式
μ t = ρ μ t − 1 + ϵ t \mu_t=\rho\mu_{t-1}+\epsilon_t μt=ρμt−1+ϵt -
回归模型中不含有滞后应变量作为解释模型,即不出现 Y t − 1 Y_{t-1} Yt−1
-
回归模型含有截距项
原假设:
H 0 : ρ = 0 H_0:\rho=0 H0:ρ=0
过程:-
根据样本容量T和解释变量数目k查询D.W.分布表,获得临界值 d L 、 d U d_L、d_U dL、dU
-
对比D.W.值:
- 0 < D . W . < d L 0<D.W.<d_L 0<D.W.<dL,存在正自相关
- d L < D . W . < d U d_L<D.W.<d_U dL<D.W.<dU,不能确定
- d U < D . W . < 4 − d U d_U<D.W.<4-d_U dU<D.W.<4−dU,不存在自相关
- 4 − d U < D . W . < 4 − d L 4-d_U<D.W.<4-d_L 4−dU<D.W.<4−dL,不能确定
- 4 − d L < D . W . < 4 4-d_L<D.W.<4 4−dL<D.W.<4,存在负自相关
-
D . W . = Σ t = 2 T e t 2 + Σ t = 2 T e t − 1 2 − 2 Σ t = 2 T e t e t − 1 Σ t = 1 T e t 2 ≈ 2 ( 1 − Σ t = 2 T e t e t − 1 Σ t = 2 T e t 2 ) ≈ 2 ( 1 − ρ ) D.W.=\frac{\Sigma_{t=2}^Te_t^2+\Sigma_{t=2}^Te_{t-1}^2-2\Sigma_{t=2}^Te_te_{t-1}}{\Sigma_{t=1}^Te_t^2} \approx2(1-\frac{\Sigma_{t=2}^Te_te_{t-1}}{\Sigma_{t=2}^Te_t^2})\approx2(1-\rho) D.W.=Σt=1Tet2Σt=2Tet2+Σt=2Tet−12−2Σt=2Tetet−1≈2(1−Σt=2Tet2Σt=2Tetet−1)≈2(1−ρ)
缺陷:存在一个不能确定的D.W.区域,且只能检验一阶自相关,对存在滞后被解释变量的模型无法检验
-
-
拉格朗日乘数检验LM
克服D.W.缺陷
怀疑随机干扰项存在p阶序列相关:
μ t = ρ 1 μ t − 1 + ρ 2 μ t − 2 + ⋯ + ρ p μ t − p + ϵ t \mu_t=\rho_1\mu_{t-1}+\rho_2\mu_{t-2}+\cdots+\rho_p\mu_{t-p}+\epsilon_t μt=ρ1μt−1+ρ2μt−2+⋯+ρpμt−p+ϵt
可以使用LM检验如下受约束回归方程:
Y t = β 0 + β 1 X t 1 + ⋯ + β k X t k + ( ρ 1 μ t − 1 + ρ 2 μ t − 2 + ⋯ + ρ p μ t − p + ϵ t ) Y_t=\beta_0+\beta_1X_{t1}+\cdots+\beta_kX_{tk}+(\rho_1\mu_{t-1}+\rho_2\mu_{t-2}+\cdots+\rho_p\mu_{t-p}+\epsilon_t) Yt=β0+β1Xt1+⋯+βkXtk+(ρ1μt−1+ρ2μt−2+⋯+ρpμt−p+ϵt)
约束条件
H 0 : ρ 1 = ρ 2 = ⋯ = ρ p = 0 H_0:\rho_1=\rho_2=\cdots=\rho_p=0 H0:ρ1=ρ2=⋯=ρp=0
进行辅助回归:
e ~ t = β 0 + β 1 X t 1 + ⋯ + β k X t k + ρ 1 e ~ t − 1 + ⋯ + ρ p e ~ t − p + ϵ t \tilde e_t=\beta_0+\beta_1X_{t1}+\cdots+\beta_kX_{tk}+\rho_1\tilde e_{t-1}+\cdots+\rho_p\tilde e_{t-p}+\epsilon_t e~t=β0+β1Xt1+⋯+βkXtk+ρ1e~t−1+⋯+ρpe~t−p+ϵt
获得辅助回归的样本容量 T − p T-p T−p与可决系数 R 2 R^2 R2:
L M = n R 2 ∼ χ 2 ( p ) LM=nR^2\thicksim \chi^2(p) LM=nR2∼χ2(p)
5.1.5 序列相关的补救
广义最小二乘法
β
^
∗
=
(
X
′
Ω
−
1
X
)
−
1
X
′
Ω
−
1
Y
\hat\beta_*=(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}Y
β^∗=(X′Ω−1X)−1X′Ω−1Y
Ω − 1 = 1 1 − ρ 2 ( 1 − ρ 0 ⋯ 0 0 0 − ρ 1 + ρ 2 − ρ ⋯ 0 0 0 0 − ρ 1 + ρ 2 ⋯ 0 0 0 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 0 0 0 ⋯ 1 + ρ 2 − ρ 0 0 0 0 ⋯ − ρ 1 + ρ 2 − ρ 0 0 0 ⋯ 0 − ρ 1 ) \Omega^{-1}=\frac 1{1-\rho^2} \begin{pmatrix} 1&-\rho&0&\cdots&0&0&0\\ -\rho&1+\rho^2&-\rho&\cdots&0&0&0\\ 0&-\rho&1+\rho^2&\cdots&0&0&0\\ \vdots&\vdots&\vdots&&\vdots&\vdots&\vdots\\ 0&0&0&\cdots&1+\rho^2&-\rho&0\\ 0&0&0&\cdots&-\rho&1+\rho^2&-\rho\\ 0&0&0&\cdots&0&-\rho&1 \end{pmatrix} Ω−1=1−ρ21⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎛1−ρ0⋮000−ρ1+ρ2−ρ⋮0000−ρ1+ρ2⋮000⋯⋯⋯⋯⋯⋯000⋮1+ρ2−ρ0000⋮−ρ1+ρ2−ρ000⋮0−ρ1⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎞
其中
ρ
\rho
ρ可从下式中得到
μ
t
=
ρ
μ
t
−
1
+
ϵ
t
\mu_t=\rho\mu_{t-1}+\epsilon_t
μt=ρμt−1+ϵt
满足
V
a
r
(
μ
t
)
=
σ
2
C
o
v
(
μ
t
,
μ
t
−
s
)
=
ρ
s
σ
2
Var(\mu_t)=\sigma^2\\ Cov(\mu_t,\mu_{t-s})=\rho^s\sigma^2
Var(μt)=σ2Cov(μt,μt−s)=ρsσ2
广义差分法
将原模型变化为满足普通最小二乘法的差分模型,再进行普通最小二乘估计
本质就是广义最小二乘法,但损失部分样本观测值
若原模型存在
μ
t
=
ρ
μ
t
−
1
+
ϵ
t
\mu_t=\rho\mu_{t-1}+\epsilon_t
μt=ρμt−1+ϵt
可对模型进行变换为
Y
t
−
ρ
Y
t
−
1
=
β
0
(
1
−
ρ
)
+
β
1
(
X
t
,
1
−
ρ
X
t
−
1
,
1
)
+
ϵ
t
Y_t-\rho Y_{t-1}=\beta_0(1-\rho)+\beta_1(X_{t,1}-\rho X_{t-1,1})+\epsilon_t
Yt−ρYt−1=β0(1−ρ)+β1(Xt,1−ρXt−1,1)+ϵt
普莱斯-温斯特变换
Y
1
∗
=
1
−
ρ
2
Y
1
X
1
,
j
∗
=
1
−
ρ
2
X
1
,
j
Y_1^*=\sqrt{1-\rho^2}Y_1\\ X_{1,j}^*=\sqrt{1-\rho^2}X_{1,j}
Y1∗=1−ρ2Y1X1,j∗=1−ρ2X1,j
进行样本补充后,广义差分法估计结果与广义最小二乘法完全一致
随机干扰项相关系数的估计
科克伦-奥科特迭代法
估计量具有渐进有效性
序列相关稳健标准误法
v
a
r
(
β
^
1
)
=
σ
2
Σ
x
t
2
+
2
σ
2
Σ
x
t
2
[
ρ
Σ
t
=
1
T
−
1
x
t
x
t
+
1
Σ
x
t
2
+
ρ
2
Σ
t
=
1
T
−
2
x
t
x
t
+
2
Σ
x
t
2
+
⋯
+
ρ
T
−
1
x
1
x
T
Σ
x
t
2
]
var(\hat\beta_1)=\frac{\sigma^2}{\Sigma x_t^2}+\frac{2\sigma^2}{\Sigma x_t^2}[\rho\frac{\Sigma^{T-1}_{t=1}x_tx_{t+1}}{\Sigma x_t^2}+\rho^2\frac{\Sigma^{T-2}_{t=1}x_tx_{t+2}}{\Sigma x_t^2}+\cdots+\rho^{T-1}\frac{x_1x_T}{\Sigma x_t^2}]
var(β^1)=Σxt2σ2+Σxt22σ2[ρΣxt2Σt=1T−1xtxt+1+ρ2Σxt2Σt=1T−2xtxt+2+⋯+ρT−1Σxt2x1xT]
5.1.6 虚假序列相关问题
模型中遗漏了重要的解释变量或函数设定有误导致的随机干扰项序列相关。
5.2 时间序列的平稳性及其检验
5.2.1 问题的提出
-
时间序列的平稳性可以替代随机抽样假定
-
可以有效减少虚假回归
虚假回归
杜绝虚假回归最根本的方法,是正确的设定模型
5.2.2 时间序列数据的平稳性
如果 X t X_t Xt满足:
- 均值 E ( X t ) = μ E(X_t)=\mu E(Xt)=μ,与时间t无关的常数
- 方差 V a r ( X t ) = σ 2 Var(X_t)=\sigma^2 Var(Xt)=σ2,与时间t无关的常数
- 协方差 C o v ( X t X t + k ) = γ k Cov(X_tX_{t+k})=\gamma_k Cov(XtXt+k)=γk,只与时间间隔k有关,与时间t无关的常数
则说该随机时间序列是**平稳的,该随机过程是一个平稳随机过程**
白噪声: X t = μ t ∼ M ( 0 , σ 2 ) X_t=\mu_t\thicksim M(0,\sigma^2) Xt=μt∼M(0,σ2)平稳的
随机游走: X t = X t − 1 + μ t X_t=X_{t-1}+\mu_t Xt=Xt−1+μt非平稳的
5.2.3 平稳性的图示判断
自相关函数
如果由白噪声产生则近似为正态分布
r
k
=
Σ
t
=
1
n
−
k
(
X
t
−
X
‾
)
(
X
t
+
k
−
X
‾
)
Σ
t
=
1
n
(
X
t
−
X
‾
)
2
∼
N
(
0
,
1
n
2
)
r_k=\frac{\Sigma_{t=1}^{n-k}(X_t-\overline X)(X_{t+k}-\overline X)}{\Sigma_{t=1}^n(X_t-\overline X)^2}\thicksim N(0,\frac 1 {n^2})
rk=Σt=1n(Xt−X)2Σt=1n−k(Xt−X)(Xt+k−X)∼N(0,n21)
检验对所有
k
>
0
k>0
k>0,自相关系数
ρ
k
\rho_k
ρk都为0的联合假设:
Q
L
B
=
n
(
n
+
1
)
Σ
k
+
1
m
r
k
2
n
−
k
∼
χ
2
(
m
)
Q_{LB}=n(n+1)\Sigma_{k+1}^m\frac{r_k^2}{n-k}\thicksim\chi^2(m)
QLB=n(n+1)Σk+1mn−krk2∼χ2(m)
m为滞后长度
5.2.4 平稳性的单位根检验
DF检验
将序列记为 X t = ρ X t − 1 + μ t X_t=\rho X_{t-1}+\mu_t Xt=ρXt−1+μt
可以表示为
Δ
X
t
=
X
t
−
X
t
−
1
=
(
ρ
−
1
)
X
t
−
1
+
μ
t
=
δ
X
t
−
1
+
μ
t
\Delta X_t=X_t-X_{t-1}=(\rho-1)X_{t-1}+\mu_t=\delta X_{t-1}+\mu_t
ΔXt=Xt−Xt−1=(ρ−1)Xt−1+μt=δXt−1+μt
一般来说,检验一个时间序列的平稳性,可以通过检验其一阶自回归模型
X
t
=
α
+
ρ
X
t
−
1
+
μ
t
X_t=\alpha+\rho X_{t-1}+\mu_t
Xt=α+ρXt−1+μt
中单位根
ρ
=
1
\rho=1
ρ=1是否存在来判断。
- ρ ≥ 1 \rho\geq 1 ρ≥1: X t X_t Xt是非平稳的
- ρ < 1 \rho< 1 ρ<1: X t X_t Xt是平稳的
在零假设下,即使是在大样本下统计量也是有偏误的(向下偏移),通常的t检验无法使用
采用DF分布检验
如果 τ < D F \tau<DF τ<DF,则拒绝原假设
ADF检验
时间序列可能由更高阶的自回归过程生成,或者随机干扰项并非白噪音
模
型
1
:
Δ
X
t
=
δ
X
t
−
1
+
Σ
i
=
1
m
β
i
Δ
X
t
−
i
+
ϵ
t
模
型
2
:
Δ
X
t
=
α
+
δ
X
t
−
1
+
Σ
i
=
1
m
β
i
Δ
X
t
−
i
+
ϵ
t
模
型
3
:
Δ
X
t
=
α
+
β
T
+
δ
X
t
−
1
+
Σ
i
=
1
m
β
i
Δ
X
t
−
i
+
ϵ
t
\begin{aligned} &模型1:&\Delta X_t&=\delta X_{t-1}+\Sigma_{i=1}^m\beta_i\Delta X_{t-i}+\epsilon_t\\ &模型2:&\Delta X_t&=\alpha+\delta X_{t-1}+\Sigma_{i=1}^m\beta_i\Delta X_{t-i}+\epsilon_t\\ &模型3:&\Delta X_t&=\alpha+\beta T+\delta X_{t-1}+\Sigma_{i=1}^m\beta_i\Delta X_{t-i}+\epsilon_t\\ \end{aligned}
模型1:模型2:模型3:ΔXtΔXtΔXt=δXt−1+Σi=1mβiΔXt−i+ϵt=α+δXt−1+Σi=1mβiΔXt−i+ϵt=α+βT+δXt−1+Σi=1mβiΔXt−i+ϵt
5.2.5 单整时间序列
一次差分过程:
X
t
=
X
t
−
1
+
μ
t
Δ
X
t
=
μ
t
X_t=X_{t-1}+\mu_t\\ \Delta X_t=\mu_t
Xt=Xt−1+μtΔXt=μt
如果一个时间序列经过d次差分变成平稳序列,则称原序列是d阶单整序列,记为
I
(
d
)
I(d)
I(d)
5.3 协整与误差修正模型
5.3.1 长期均衡关系与协整
假设
X
、
Y
X、Y
X、Y的长期均衡关系描述为
Y
t
=
α
0
+
α
1
X
t
+
μ
t
Y_t=\alpha_0+\alpha_1X_t+\mu_t
Yt=α0+α1Xt+μt
在
t
−
1
t-1
t−1期末:
- Y t − 1 = α 0 + α 1 X t Y_{t-1}=\alpha_0+\alpha_1X_t Yt−1=α0+α1Xt
- Y t − 1 < α 0 + α 1 X t Y_{t-1}<\alpha_0+\alpha_1X_t Yt−1<α0+α1Xt
- Y t − 1 > α 0 + α 1 X t Y_{t-1}>\alpha_0+\alpha_1X_t Yt−1>α0+α1Xt
非均衡误差
μ
t
=
Y
t
−
α
0
−
α
1
X
t
∼
I
(
0
)
\mu_t=Y_t-\alpha_0-\alpha_1X_t\thicksim I(0)
μt=Yt−α0−α1Xt∼I(0)
如果两个变量都是单整变量,只有当他们的单整阶相同时,才可能协整,如果他们的单整阶不相同,就不可能协整
如果序列 X 1 t 、 X 2 t 、 ⋯ 、 X k t X_{1t}、X_{2t}、\cdots、X_{kt} X1t、X2t、⋯、Xkt都是d阶协整的,存在向量 α = ( α 0 , α 1 , ⋯ , α k ) \alpha=(\alpha_0,\alpha_1,\cdots,\alpha_k) α=(α0,α1,⋯,αk)使得 Z t = α X T ′ ∼ I ( d − b ) Z_t=\alpha X_T'\thicksim I(d-b) Zt=αXT′∼I(d−b),则认为该解释变量序列是 ( d , b ) (d,b) (d,b)阶协整的,记为 C I ( d , b ) CI(d,b) CI(d,b)
( d , d ) (d,d) (d,d)阶协整的经济意义:
两个变量虽然具有各自的长期波动规律,但是之间存在着一个长期稳定的比例关系
5.3.2 协整的检验
两变量的Engle-granger检验——EG检验
检验两个I(1)的单整变量 Y t 、 X t Y_t、X_t Yt、Xt是否是协整的
-
协整回归:使用OLS估计 Y t = α 0 + α 1 X t + μ t Y_t=\alpha_0+\alpha_1X_t+\mu_t Yt=α0+α1Xt+μt并计算非均衡误差,得到
Y ^ t = α ^ 0 + α ^ 1 X t e t = Y t − Y ^ t \hat Y_t=\hat\alpha_0+\hat\alpha_1X_t\\ e_t=Y_t-\hat Y_t Y^t=α^0+α^1Xtet=Yt−Y^t -
检验 e t e_t et的单整性:如果 e t ∼ I ( 0 ) e_t\thicksim I(0) et∼I(0)则 Y t 、 X t Y_t、X_t Yt、Xt为 C I ( 1 , 1 ) CI(1,1) CI(1,1)协整,使用模型:
Δ e t = δ e t − 1 + Σ i = 1 p θ i Δ e t − i + ϵ t \Delta e_t=\delta e_{t-1}+\Sigma_{i=1}^p \theta_i\Delta e_{t-i}+\epsilon_t Δet=δet−1+Σi=1pθiΔet−i+ϵt
进行ADF检验并获得适当的检验模型,如果拒绝零假设 H 0 : δ = 0 H_0:\delta=0 H0:δ=0则说明 e t e_t et是平稳序列,从而说明X与Y是协整的
多变量的协整关系检验
对于多变量的协整检验过程,需要检验变量是否具有同阶单整性,以及是否存在稳定的线性组合。后者需要通过设置一个变量为被解释变量,其他变量为解释变量,进行普通最小二乘估计并检验残差序列是否平稳。如果不平稳则更换被解释变量,进行同样的OLS与相应的残差项检验。当所有变量都被作为被解释变量之后,若仍不能得到平稳的残差项序列,则认为这些变量间不存在 ( d , d ) (d,d) (d,d)阶协整
5.3.3 关于均衡与协整的再讨论
协整方程不一定是均衡方程
- 协整方程具有统计意义,均衡方程具有经济意义
- 均衡方程中应该包含均衡系统中的所有时间序列,而协整方程中可以只包含其中一部分时间序列
- 协整方程只要求随机项是平稳的,而均衡方程要求随机项时白噪声
5.3.4 误差修正模型ECM
简单差分不一定能解决非平稳时间序列所遇到的全部问题
DHSY模型
假设变量X与Y的长期均衡关系为
Y
t
=
α
0
+
α
1
X
t
+
μ
t
Y_t=\alpha_0+\alpha_1X_t+\mu_t
Yt=α0+α1Xt+μt
短期/非均衡的关系有如下(1,1)阶分布滞后形式
Y
t
=
β
0
+
β
1
X
t
+
β
2
X
t
−
1
+
δ
Y
t
−
1
+
μ
t
Y_t=\beta_0+\beta_1X_t+\beta_2X_{t-1}+\delta Y_{t-1}+\mu_t
Yt=β0+β1Xt+β2Xt−1+δYt−1+μt
适当变化后可得
Δ
Y
t
=
β
1
Δ
X
t
−
λ
(
Y
t
−
1
−
α
0
−
α
1
X
t
−
1
)
+
μ
t
λ
=
1
−
δ
∈
(
0
,
1
)
;
α
0
=
β
0
1
−
δ
;
α
1
=
β
1
+
β
2
1
−
δ
\Delta Y_t=\beta_1\Delta X_t-\lambda(Y_{t-1}-\alpha_0-\alpha_1X_{t-1})+\mu_t\\ \begin{aligned} \lambda=1-\delta\in(0,1);\alpha_0=\frac{\beta_0}{1-\delta};\alpha_1=\frac{\beta_1+\beta_2}{1-\delta} \end{aligned}
ΔYt=β1ΔXt−λ(Yt−1−α0−α1Xt−1)+μtλ=1−δ∈(0,1);α0=1−δβ0;α1=1−δβ1+β2
Y
t
Y_t
Yt又可以写成
Δ
Y
t
=
β
1
Δ
X
t
−
λ
⋅
e
c
m
t
−
1
+
μ
t
\Delta Y_t=\beta_1\Delta X_t-\lambda\cdot ecm_{t-1}+\mu_t
ΔYt=β1ΔXt−λ⋅ecmt−1+μt
ecm为误差修正项
- Y t − 1 < α 0 + α 1 X t − 1 Y_{t-1}<\alpha_0+\alpha_1X_{t-1} Yt−1<α0+α1Xt−1:ecm为负
- Y t − 1 > α 0 + α 1 X t − 1 Y_{t-1}>\alpha_0+\alpha_1X_{t-1} Yt−1>α0+α1Xt−1:ecm为正
Y关于X的长期弹性: α 1 \alpha_1 α1
Y关于X的短期弹性: β 1 \beta_1 β1
5.4 格兰杰因果关系检验
5.4.1 时间序列自回归模型
自回归模型: X t = F ( X t − 1 , X t − 2 , ⋯ , μ t ) X_t=F(X_{t-1},X_{t-2},\cdots,\mu_t) Xt=F(Xt−1,Xt−2,⋯,μt)
-
1阶自回归过程 A R ( 1 ) AR(1) AR(1):线性方程、1期滞后、白噪声随机扰动项
X t = ϕ X t − 1 + ϵ t X_t=\phi X_{t-1}+\epsilon_t Xt=ϕXt−1+ϵt -
p阶自回归过程 A R ( p ) AR(p) AR(p):
X t = ϕ 1 X t − 1 + ϕ 2 X t − 2 + ⋯ + ϕ p X t − p + μ t X_t=\phi_1X_{t-1}+\phi_2X_{t-2}+\cdots+\phi_pX_{t-p}+\mu_t Xt=ϕ1Xt−1+ϕ2Xt−2+⋯+ϕpXt−p+μt
纯 A R ( p ) AR(p) AR(p)过程:随机扰动项是一个白噪声
X t = ϕ 1 X t − 1 + ϕ 2 X t − 2 + ⋯ + ϕ p X t − p + ϵ t X_t=\phi_1X_{t-1}+\phi_2X_{t-2}+\cdots+\phi_pX_{t-p}+\epsilon_t Xt=ϕ1Xt−1+ϕ2Xt−2+⋯+ϕpXt−p+ϵt -
q阶移动平均过程 M A ( q ) MA(q) MA(q):随机扰动项不是一个白噪声
μ t = ϵ t − θ 1 ϵ t − 1 − ⋯ − θ q ϵ t − q \mu_t=\epsilon_t-\theta_1\epsilon_{t-1}-\cdots-\theta_q\epsilon_{t-q} μt=ϵt−θ1ϵt−1−⋯−θqϵt−q -
自回归移动平均过程 A R M A ( p , q ) ARMA(p,q) ARMA(p,q)
X t = ϕ 1 X t − 1 + ϕ 2 X t − 2 + ⋯ + ϕ p X t − p + ϵ t − θ 1 ϵ t − 1 − ⋯ − θ q ϵ t − q X_t=\phi_1X_{t-1}+\phi_2X_{t-2}+\cdots+\phi_pX_{t-p}+\epsilon_t-\theta_1\epsilon_{t-1}-\cdots-\theta_q\epsilon_{t-q} Xt=ϕ1Xt−1+ϕ2Xt−2+⋯+ϕpXt−p+ϵt−θ1ϵt−1−⋯−θqϵt−q
一个随机时间序列可以通过一个自回归移动平均过程生成,即序列可以由其自身的过去或滞后值以及随机扰动项来解释
A R ( p ) AR(p) AR(p)模型的平稳性条件
引入滞后算子
L
L
L:
L
X
t
=
X
t
−
1
,
L
2
X
t
=
X
t
−
2
,
⋯
,
L
p
X
t
=
X
t
−
p
,
LX_t=X_{t-1},L^2X_t=X_{t-2},\cdots,L^pX_t=X_{t-p},
LXt=Xt−1,L2Xt=Xt−2,⋯,LpXt=Xt−p,
则
A
R
(
p
)
AR(p)
AR(p)模型可以变化为
(
1
−
ϕ
1
L
−
ϕ
2
L
2
−
⋯
−
ϕ
p
L
p
)
X
t
=
ϵ
t
(1-\phi_1L-\phi_2L^2-\cdots-\phi_pL^p)X_t=\epsilon_t
(1−ϕ1L−ϕ2L2−⋯−ϕpLp)Xt=ϵt
A
R
(
p
)
AR(p)
AR(p)的特征方程可以记为
Φ
(
z
)
=
(
1
−
ϕ
1
z
−
ϕ
2
z
2
−
⋯
−
ϕ
p
z
p
)
=
0
\Phi(z)=(1-\phi_1z-\phi_2z^2-\cdots-\phi_pz^p)=0
Φ(z)=(1−ϕ1z−ϕ2z2−⋯−ϕpzp)=0
如果该特征方程的所有根的模都大于1,则该模型是平稳的
对于一个平稳的随机事件序列,识别其为纯AR过程,所需要使用的是时间序列的自相关函数ACF与偏自相关函数PACF。如果为一纯AR过程,可以采用OLS等方法估计参数。
5.4.2 时间序列向量自回归模型
将上述单个时间序列自回归模型扩展到多个时间序列,即构成向量自回归模型
5.4.3 格兰杰因果关系检验及其应用
当两个变量间在时间上有先导-滞后关系时,考察这种关系是单向的还是双向的
**格兰杰因果关系检验**的表述
定义:若在包含了变量X、Y的过去信息的条件下,对变量Y的预测效果要优于单独由Y的过去信息对Y进行的预测效果,即变量X有助于解释变量Y的将来变化,则认为变量X是引致变量Y的格兰杰原因。考察X是否影响Y的问题,主要看当期的Y在多大程度上能够被过去的X解释,在
Y
t
Y_t
Yt方程中加入X的滞后值是否能使解释程度显著提高。如果X在Y的预测中有帮助,或者X、Y的相关系数在统计上显著时,则说“X是Y的Granger原因”。
Y
t
=
β
0
+
Σ
i
=
1
m
β
i
Y
t
−
i
+
Σ
i
=
1
m
α
i
X
t
−
i
+
μ
t
X
t
=
δ
0
+
Σ
i
=
1
m
δ
i
X
t
−
i
+
Σ
i
=
1
m
λ
i
Y
t
−
i
+
v
t
\begin{aligned} &Y_t=\beta_0+\Sigma_{i=1}^m\beta_iY_{t-i}+\Sigma_{i=1}^m\alpha_iX_{t-i}+\mu_t\\\\ &X_t=\delta_0+\Sigma_{i=1}^m\delta_iX_{t-i}+\Sigma_{i=1}^m\lambda_iY_{t-i}+v_t\\ \end{aligned}
Yt=β0+Σi=1mβiYt−i+Σi=1mαiXt−i+μtXt=δ0+Σi=1mδiXt−i+Σi=1mλiYt−i+vt
- X对Y有单向影响: Y t Y_t Yt式中 X X X各滞后项前的参数整体不为0, X t X_t Xt式中 Y Y Y各滞后项前的参数整体为0
- Y对X有单向影响: Y t Y_t Yt式中 X X X各滞后项前的参数整体为0, X t X_t Xt式中 Y Y Y各滞后项前的参数整体不为0
- Y与X间有双向影响: Y t Y_t Yt式中 X X X各滞后项前的参数整体不为0, X t X_t Xt式中 Y Y Y各滞后项前的参数整体不为0
- X与Y是独立的: Y t Y_t Yt式中 X X X各滞后项前的参数整体为0, X t X_t Xt式中 Y Y Y各滞后项前的参数整体为0
使用F检验判断参数是否整体为0
F
=
(
R
S
S
R
−
R
S
S
U
)
/
m
R
S
S
/
(
n
−
k
)
∼
F
(
m
,
n
−
k
)
F=\frac{(RSS_R-RSS_U)/m}{RSS/(n-k)}\thicksim F(m,n-k)
F=RSS/(n−k)(RSSR−RSSU)/m∼F(m,n−k)
应用中的实际问题
- 滞后期长度的选择问题
- 时间序列的平稳性问题:对同阶单整非稳定序列也有一定程度的可靠性
- 样本容量问题:样本容量越大,存在格兰杰因果关系的概率显著增大
- 格兰杰因果关系检验是必要性条件检验,而不是充分性条件检验:是统计意义上的,不是经济意义上的
chapter6 非经典截面数据计量经济学模型
6.1 选择性样本计量经济学模型
受限被解释变量模型:选择性样本模型+持续时间被解释变量模型
6.1.1 经济生活中的选择性样本问题
截断问题:只能从一部分个体中随机抽取被解释变量的样本观测值
归并问题:将解释变量处于某一范围的样本观测值都用一个相同的值代替
6.1.2 “截断”问题的计量经济学模型
通过函数的极大化求得模型的参数估计量
截断分布
P
(
ϵ
>
a
)
=
1
−
Φ
(
a
−
μ
σ
)
P(\epsilon >a)=1-\Phi(\frac{a-\mu}\sigma)
P(ϵ>a)=1−Φ(σa−μ)
截断被解释变量数据计量经济学模型的极大似然估计
∂
ln
L
∂
(
β
σ
2
)
=
Σ
i
=
1
n
(
Y
i
−
X
i
β
σ
2
X
i
−
1
2
σ
2
+
(
Y
i
−
X
i
β
)
2
2
σ
4
−
α
i
λ
i
2
σ
2
=
Σ
i
=
1
n
g
i
=
0
)
α
i
=
(
a
−
X
i
β
)
/
σ
λ
i
=
Φ
(
α
i
)
/
(
1
−
Φ
(
α
i
)
)
\frac{\partial \ln L}{\partial\begin{pmatrix}\beta\\\sigma^2\end{pmatrix}} =\Sigma_{i=1}^n\begin{pmatrix} \frac{Y_i-X_i\beta}{\sigma^2}X_i\\ -\frac 1{2\sigma^2}+\frac{(Y_i-X_i\beta)^2}{2\sigma^4}-\frac{\alpha_i\lambda_i}{2\sigma^2}=\Sigma_{i=1}^ng_i=0 \end{pmatrix} \\ \alpha_i=(a-X_i\beta)/\sigma\\ \lambda_i=\Phi(\alpha_i)/(1-\Phi(\alpha_i))
∂(βσ2)∂lnL=Σi=1n(σ2Yi−XiβXi−2σ21+2σ4(Yi−Xiβ)2−2σ2αiλi=Σi=1ngi=0)αi=(a−Xiβ)/σλi=Φ(αi)/(1−Φ(αi))
如果采用OLS估计会产生选择性偏误
- 忽略了一个非线性项 λ i \lambda_i λi
- 忽略了随机误差项实际上的异方差性
6.1.3 “归并”问题的计量经济学模型
{ Y = a , Y ∗ ≤ a Y = Y ∗ , Y ∗ > a \begin{cases} Y=a,&Y^*\leq a\\ Y=Y^*,&Y^*>a \end{cases} {Y=a,Y=Y∗,Y∗≤aY∗>a
tobit模型
{
Y
i
∗
=
X
i
β
+
μ
i
,
μ
i
∼
N
(
0
,
σ
2
)
Y
i
=
m
a
x
(
Y
i
∗
,
0
)
\begin{cases} Y_i^*=X_i\beta+\mu_i,&\mu_i\thicksim N(0,\sigma^2)\\ Y_i=max(Y_i^*,0) \end{cases}
{Yi∗=Xiβ+μi,Yi=max(Yi∗,0)μi∼N(0,σ2)
归并模型的正态分布
P
(
Y
=
0
)
=
1
−
Φ
(
μ
σ
)
P(Y=0)=1-\Phi(\frac \mu\sigma)
P(Y=0)=1−Φ(σμ)
归并模型的极大似然估计
ln
L
=
Σ
Y
i
>
0
−
1
2
(
ln
(
2
π
)
+
ln
σ
2
+
(
Y
i
−
X
i
β
)
2
σ
2
)
+
Σ
Y
i
=
0
ln
(
1
−
Φ
(
X
i
β
σ
)
)
\ln L=\Sigma_{Y_i>0}-\frac1 2 (\ln(2\pi)+\ln\sigma^2+\frac{(Y_i-X_i\beta)^2}{\sigma^2})+\Sigma_{Y_i=0}\ln(1-\Phi(\frac{X_i\beta}{\sigma}))
lnL=ΣYi>0−21(ln(2π)+lnσ2+σ2(Yi−Xiβ)2)+ΣYi=0ln(1−Φ(σXiβ))
由两部分组成
- 没有限制的观测值
- 受到限制的观测值
6.2 二元离散选择模型
随机效用模型
U
i
1
=
X
i
β
1
+
ϵ
i
1
U_i^1=X_i\beta^1+\epsilon_i^1
Ui1=Xiβ1+ϵi1
记
Y
i
∗
=
U
i
1
−
U
I
0
=
X
i
(
β
1
−
β
0
)
+
(
ϵ
i
1
−
ϵ
i
0
)
=
X
i
β
+
μ
i
∗
Y_i*=U_i^1-U_I^0=X_i(\beta_1-\beta_0)+(\epsilon_i^1-\epsilon_i^0)=X_i\beta+\mu_i^*
Yi∗=Ui1−UI0=Xi(β1−β0)+(ϵi1−ϵi0)=Xiβ+μi∗
6.2.3 二元Probit离散选择模型及其参数估计
将正态分布作为
μ
i
∗
\mu_i^*
μi∗的概率分布而推导得到的
F
(
t
)
=
∫
−
∞
t
(
2
π
)
−
1
2
exp
(
−
x
2
2
)
d
x
F(t)=\int_{-\infty}^t (2\pi)^{-\frac 1 2}\exp(-\frac {x^2} 2)dx
F(t)=∫−∞t(2π)−21exp(−2x2)dx
概率密度函数
f
(
x
)
=
(
2
π
)
−
1
2
exp
(
−
x
2
2
)
f(x)=(2\pi)^{-\frac 1 2}\exp(-\frac{x^2}2)
f(x)=(2π)−21exp(−2x2)
1.重复观测值不可以得到的情况下Probit的参数估计
2.重复观测值可以得到的情况下Probit的参数估计
6.2.4 二元Logit离散选择模型及其参数估计
F ( t ) = 1 1 + e − t F(t)=\frac 1 {1+e^{-t}} F(t)=1+e−t1
f ( t ) = e − t ( 1 + e − t ) 2 f(t)=\frac{e^{-t}}{(1+e^{-t})^2} f(t)=(1+e−t)2e−t
6.2.5 二元离散选择模型的检验
-
拟合优度检验
设 L 0 L_0 L0为所有解释变量的系数都为0时的似然函数值
ln L 0 = n [ P ln P + ( 1 − P ) ln ( 1 − P ) ] \ln L_0=n[P\ln P+(1-P)\ln(1-P)] lnL0=n[PlnP+(1−P)ln(1−P)]
设 L L L为模型估计得到的似然函数值
R 2 = 1 − ln L ln L 0 R^2=1-\frac{\ln L}{\ln L_0} R2=1−lnL0lnL -
总体显著性检验
H 0 : β 1 = β 2 = ⋯ = β k = 0 L R = − 2 ( ln L 0 − ln L ) ∼ χ 2 ( k ) H_0:\beta_1=\beta_2=\cdots=\beta_k=0\\ LR=-2(\ln L_0-\ln L)\thicksim\chi^2(k) H0:β1=β2=⋯=βk=0LR=−2(lnL0−lnL)∼χ2(k) -
回代效果检验
6.3 固定效应面板数据计量经济学模型
面板数据计量经济学模型理论是基于样本信息的充分利用而发展的
6.3.1 截面个体变系数模型
Y i t = α i + X i t β i + μ i t Y_{it}=\alpha_i+X_{it}\beta_i+\mu_{it} Yit=αi+Xitβi+μit
在截面个体之间,存在个体影响,也存在变化的经济结构,因此结构参数在不同横截面个体上是不同的
6.3.2 截面个体变截距模型
Y i t = α i + X i t β + μ i t Y_{it}=\alpha_i+X_{it}\beta+\mu_{it} Yit=αi+Xitβ+μit
在横截面个体之间,存在个体影响,但不存在变化的经济结构,因此结构参数在不同横截面个体上是相同的
6.3.3 界面个体截距、系数不变模型
Y i t = α + X i t β + μ i t Y_{it}=\alpha+X_{it}\beta+\mu_{it} Yit=α+Xitβ+μit
在横截面个体间,不存在个体影响,也不存在变化的经济结构,因此模型的截距与结构参数在不同横截面个体上都相同
6.3.4 截面个体不变截距、变系数模型
Y i t = α + X i t β i + μ i t Y_{it}=\alpha+X_{it}\beta_i+\mu_{it} Yit=α+Xitβi+μit
在横截面个体之间,不存在个体影响,但是存在变化的经济结构,因此模型截距相同
6.3.5 时点变系数模型
Y i t = α t + X i t β t + μ i t Y_{it}=\alpha_t+X_{it}\beta_t+\mu_{it} Yit=αt+Xitβt+μit
在不同的时点间,存在个体影响,也存在变化的经济结构,因此结构参数在不同时点是不同的
6.3.6 截面个体和时点变截距模型
Y i t = α i + γ t + X i t β + μ i t Y_{it}=\alpha_i+\gamma_t+X_{it}\beta+\mu_{it} Yit=αi+γt+Xitβ+μit
在横截面个体间,存在个体影响,同时在不同的时点之间存在个体影响,但不存在变化的经济结构
6.3.7 模型设定检验
模型设定的F检验(协变分析检验)
H
0
:
y
i
t
=
α
i
+
X
i
t
β
i
+
μ
i
t
H
1
:
y
i
t
=
α
i
+
X
i
t
β
+
μ
i
t
H
2
:
y
i
t
=
α
+
X
i
t
β
+
μ
i
t
H_0:y_{it}=\alpha_i+X_{it}\beta_i+\mu_{it}\\ H_1:y_{it}=\alpha_i+X_{it}\beta+\mu_{it}\\\\ H_2:y_{it}=\alpha+X_{it}\beta+\mu_{it}
H0:yit=αi+Xitβi+μitH1:yit=αi+Xitβ+μitH2:yit=α+Xitβ+μit
F 2 = ( S 3 − S 1 ) / [ ( n − 1 ) ( K + 1 ) ] S 1 / [ n T − n ( K + 1 ) ] ∼ F [ ( n − 1 ) ( K + 1 ) , [ n T − n ( K + 1 ) ] ] F 1 = ( S 2 − S 1 ) / [ ( n − 1 ) K ] S 1 / [ n T − n ( K + 1 ) ] ∼ F [ ( n − 1 ) K , n ( T − K − 1 ) ] F_2=\frac{(S_3-S_1)/[(n-1)(K+1)]}{S_1/[nT-n(K+1)]}\thicksim F[(n-1)(K+1),[nT-n(K+1)]]\\ F_1=\frac{(S_2-S_1)/[(n-1)K]}{S_1/[nT-n(K+1)]}\thicksim F[(n-1)K,n(T-K-1)] F2=S1/[nT−n(K+1)](S3−S1)/[(n−1)(K+1)]∼F[(n−1)(K+1),[nT−n(K+1)]]F1=S1/[nT−n(K+1)](S2−S1)/[(n−1)K]∼F[(n−1)K,n(T−K−1)]
6.4 固定效应变截距模型
固定影响变截距模型:个体影响可以用常数项 α i \alpha_i αi代替
随机影响变截距模型:个体影响可以用不变的常数项 α i \alpha_i αi与变化的随机项 ϵ i \epsilon_i ϵi之和代替
LSDV最小二乘虚拟变量模型
(
α
^
β
^
)
=
(
(
D
X
)
′
(
D
X
)
)
−
1
(
D
X
)
′
y
\begin{pmatrix} \hat\alpha\\\hat\beta \end{pmatrix} =((DX)'(DX))^{-1}(DX)'y
(α^β^)=((DX)′(DX))−1(DX)′y
D = ( e 0 ⋯ 0 0 e ⋯ 0 ⋮ ⋮ ⋮ 0 0 ⋯ e ) n T × n D=\begin{pmatrix} e&0&\cdots&0\\ 0&e&\cdots&0\\ \vdots&\vdots&&\vdots\\ 0&0&\cdots&e \end{pmatrix}_{nT\times n} D=⎝⎜⎜⎜⎛e0⋮00e⋮0⋯⋯⋯00⋮e⎠⎟⎟⎟⎞nT×n
协方差分析模型的性质
V
a
r
(
β
^
C
V
)
=
σ
μ
2
(
Σ
i
=
1
n
X
i
′
Q
X
i
)
−
1
V
a
r
(
α
^
i
)
=
σ
μ
2
T
+
X
‾
i
V
a
r
(
β
^
C
V
)
X
‾
i
′
s
2
=
Σ
i
=
1
n
Σ
t
=
1
T
(
y
i
t
−
α
^
i
−
x
i
t
β
^
C
V
)
2
n
T
−
n
−
K
Var(\hat\beta_{CV})=\sigma_\mu^2(\Sigma_{i=1}^n X_i'QX_i)^{-1}\\ Var(\hat\alpha_i)=\frac{\sigma^2_\mu}T+\overline X_iVar(\hat\beta_{CV})\overline X_i'\\ s^2=\Sigma_{i=1}^n\Sigma_{t=1}^T\frac{(y_{it}-\hat\alpha_i-x_{it}\hat\beta_{CV})^2}{nT-n-K}
Var(β^CV)=σμ2(Σi=1nXi′QXi)−1Var(α^i)=Tσμ2+XiVar(β^CV)Xi′s2=Σi=1nΣt=1TnT−n−K(yit−α^i−xitβ^CV)2
6.5 固定效应变系数模型
$$
\hat\beta_{GLS}=(X’V{-1}X){-1}X’V^{-1}y\
V=\begin{pmatrix}
\Omega_{11}&\Omega_{12}&\cdots&\Omega_{1n}\
\Omega_{21}&\Omega_{22}&\cdots&\Omega_{2n}\
\vdots&\vdots&&\vdots\
\Omega_{n1}&\Omega_{n2}&\cdots&\Omega_{nn}\
\end{pmatrix},
\Omega_{ij}=E(\mu_i\mu_j)
6.3 固定效应面板数据计量经济学模型
面板数据计量经济学模型理论是基于样本信息的充分利用而发展的
6.3.1 截面个体变系数模型
Y i t = α i + X i t β i + μ i t Y_{it}=\alpha_i+X_{it}\beta_i+\mu_{it} Yit=αi+Xitβi+μit
在截面个体之间,存在个体影响,也存在变化的经济结构,因此结构参数在不同横截面个体上是不同的
6.3.2 截面个体变截距模型
Y i t = α i + X i t β + μ i t Y_{it}=\alpha_i+X_{it}\beta+\mu_{it} Yit=αi+Xitβ+μit
在横截面个体之间,存在个体影响,但不存在变化的经济结构,因此结构参数在不同横截面个体上是相同的
6.3.3 界面个体截距、系数不变模型
Y i t = α + X i t β + μ i t Y_{it}=\alpha+X_{it}\beta+\mu_{it} Yit=α+Xitβ+μit
在横截面个体间,不存在个体影响,也不存在变化的经济结构,因此模型的截距与结构参数在不同横截面个体上都相同
6.3.4 截面个体不变截距、变系数模型
Y i t = α + X i t β i + μ i t Y_{it}=\alpha+X_{it}\beta_i+\mu_{it} Yit=α+Xitβi+μit
在横截面个体之间,不存在个体影响,但是存在变化的经济结构,因此模型截距相同
6.3.5 时点变系数模型
Y i t = α t + X i t β t + μ i t Y_{it}=\alpha_t+X_{it}\beta_t+\mu_{it} Yit=αt+Xitβt+μit
在不同的时点间,存在个体影响,也存在变化的经济结构,因此结构参数在不同时点是不同的
6.3.6 截面个体和时点变截距模型
Y i t = α i + γ t + X i t β + μ i t Y_{it}=\alpha_i+\gamma_t+X_{it}\beta+\mu_{it} Yit=αi+γt+Xitβ+μit
在横截面个体间,存在个体影响,同时在不同的时点之间存在个体影响,但不存在变化的经济结构
6.3.7 模型设定检验
模型设定的F检验(协变分析检验)
H
0
:
y
i
t
=
α
i
+
X
i
t
β
i
+
μ
i
t
H
1
:
y
i
t
=
α
i
+
X
i
t
β
+
μ
i
t
H
2
:
y
i
t
=
α
+
X
i
t
β
+
μ
i
t
H_0:y_{it}=\alpha_i+X_{it}\beta_i+\mu_{it}\\ H_1:y_{it}=\alpha_i+X_{it}\beta+\mu_{it}\\\\ H_2:y_{it}=\alpha+X_{it}\beta+\mu_{it}
H0:yit=αi+Xitβi+μitH1:yit=αi+Xitβ+μitH2:yit=α+Xitβ+μit
F 2 = ( S 3 − S 1 ) / [ ( n − 1 ) ( K + 1 ) ] S 1 / [ n T − n ( K + 1 ) ] ∼ F [ ( n − 1 ) ( K + 1 ) , [ n T − n ( K + 1 ) ] ] F 1 = ( S 2 − S 1 ) / [ ( n − 1 ) K ] S 1 / [ n T − n ( K + 1 ) ] ∼ F [ ( n − 1 ) K , n ( T − K − 1 ) ] F_2=\frac{(S_3-S_1)/[(n-1)(K+1)]}{S_1/[nT-n(K+1)]}\thicksim F[(n-1)(K+1),[nT-n(K+1)]]\\ F_1=\frac{(S_2-S_1)/[(n-1)K]}{S_1/[nT-n(K+1)]}\thicksim F[(n-1)K,n(T-K-1)] F2=S1/[nT−n(K+1)](S3−S1)/[(n−1)(K+1)]∼F[(n−1)(K+1),[nT−n(K+1)]]F1=S1/[nT−n(K+1)](S2−S1)/[(n−1)K]∼F[(n−1)K,n(T−K−1)]
6.4 固定效应变截距模型
固定影响变截距模型:个体影响可以用常数项 α i \alpha_i αi代替
随机影响变截距模型:个体影响可以用不变的常数项 α i \alpha_i αi与变化的随机项 ϵ i \epsilon_i ϵi之和代替
LSDV最小二乘虚拟变量模型
(
α
^
β
^
)
=
(
(
D
X
)
′
(
D
X
)
)
−
1
(
D
X
)
′
y
\begin{pmatrix} \hat\alpha\\\hat\beta \end{pmatrix} =((DX)'(DX))^{-1}(DX)'y
(α^β^)=((DX)′(DX))−1(DX)′y
D = ( e 0 ⋯ 0 0 e ⋯ 0 ⋮ ⋮ ⋮ 0 0 ⋯ e ) n T × n D=\begin{pmatrix} e&0&\cdots&0\\ 0&e&\cdots&0\\ \vdots&\vdots&&\vdots\\ 0&0&\cdots&e \end{pmatrix}_{nT\times n} D=⎝⎜⎜⎜⎛e0⋮00e⋮0⋯⋯⋯00⋮e⎠⎟⎟⎟⎞nT×n
协方差分析模型的性质
V
a
r
(
β
^
C
V
)
=
σ
μ
2
(
Σ
i
=
1
n
X
i
′
Q
X
i
)
−
1
V
a
r
(
α
^
i
)
=
σ
μ
2
T
+
X
‾
i
V
a
r
(
β
^
C
V
)
X
‾
i
′
s
2
=
Σ
i
=
1
n
Σ
t
=
1
T
(
y
i
t
−
α
^
i
−
x
i
t
β
^
C
V
)
2
n
T
−
n
−
K
Var(\hat\beta_{CV})=\sigma_\mu^2(\Sigma_{i=1}^n X_i'QX_i)^{-1}\\ Var(\hat\alpha_i)=\frac{\sigma^2_\mu}T+\overline X_iVar(\hat\beta_{CV})\overline X_i'\\ s^2=\Sigma_{i=1}^n\Sigma_{t=1}^T\frac{(y_{it}-\hat\alpha_i-x_{it}\hat\beta_{CV})^2}{nT-n-K}
Var(β^CV)=σμ2(Σi=1nXi′QXi)−1Var(α^i)=Tσμ2+XiVar(β^CV)Xi′s2=Σi=1nΣt=1TnT−n−K(yit−α^i−xitβ^CV)2
6.5 固定效应变系数模型
β ^ G L S = ( X ′ V − 1 X ) − 1 X ′ V − 1 y V = ( Ω 11 Ω 12 ⋯ Ω 1 n Ω 21 Ω 22 ⋯ Ω 2 n ⋮ ⋮ ⋮ Ω n 1 Ω n 2 ⋯ Ω n n ) , Ω i j = E ( μ i μ j ) \hat\beta_{GLS}=(X'V^{-1}X)^{-1}X'V^{-1}y\\ V=\begin{pmatrix} \Omega_{11}&\Omega_{12}&\cdots&\Omega_{1n}\\ \Omega_{21}&\Omega_{22}&\cdots&\Omega_{2n}\\ \vdots&\vdots&&\vdots\\ \Omega_{n1}&\Omega_{n2}&\cdots&\Omega_{nn}\\ \end{pmatrix}, \Omega_{ij}=E(\mu_i\mu_j) β^GLS=(X′V−1X)−1X′V−1yV=⎝⎜⎜⎜⎛Ω11Ω21⋮Ωn1Ω12Ω22⋮Ωn2⋯⋯⋯Ω1nΩ2n⋮Ωnn⎠⎟⎟⎟⎞,Ωij=E(μiμj)