异方差
1 异方差的一些例子
-
在消费函数，不同收入群体，消费的波动差距是否相同？
C i = α + β Y i + ε i C_i = \alpha + \beta Y_i + \varepsilon_i Ci=α+βYi+εi -
在企业成本函数，大企业与小企业规模经济存在差异
-
股票收益率数据也可能出现条件异方差ARCH 模型情形。
2 什么是异方差
经典线性回归方程
y
=
β
X
+
ε
y = \boldsymbol \beta \boldsymbol X +\boldsymbol \varepsilon
y=βX+ε
普通最小二乘（OLS）估计量
β
^
o
l
s
=
(
X
′
X
)
−
1
X
′
Y
=
(
X
′
X
)
−
1
X
′
(
β
X
+
ε
)
=
β
+
(
X
′
X
)
−
1
X
′
ε
\hat {\boldsymbol \beta}_{ols} = (X'X)^{-1}X'Y = (X'X)^{-1}X'(\boldsymbol \beta \boldsymbol X+\varepsilon) = \boldsymbol \beta+(X'X)^{-1}X'\varepsilon
β^ols=(X′X)−1X′Y=(X′X)−1X′(βX+ε)=β+(X′X)−1X′ε
其方差协方差矩阵：
V
a
r
−
C
o
v
(
β
^
)
=
E
(
β
^
−
E
(
β
^
)
(
β
^
−
E
(
β
^
)
′
)
=
E
(
(
X
′
X
)
−
1
X
′
ε
ε
′
X
(
X
′
X
)
−
1
)
=
(
X
′
X
)
−
1
X
′
E
(
ε
ε
′
)
X
(
X
′
X
)
−
1
\begin{aligned} Var-Cov(\hat \beta) & = E(\hat \beta-E(\hat \beta)(\hat \beta-E(\hat \beta)')\\ &=E((X'X)^{-1}X'\varepsilon \varepsilon'X (X'X)^{-1})\\ & = (X'X)^{-1}X'E(\varepsilon \varepsilon')X (X'X)^{-1} \end{aligned}
Var−Cov(β^)=E(β^−E(β^)(β^−E(β^)′)=E((X′X)−1X′εε′X(X′X)−1)=(X′X)−1X′E(εε′)X(X′X)−1
在同方差假设下：
E
(
ε
ε
’
)
=
σ
2
I
=
[
σ
2
0
⋯
0
0
σ
2
⋯
0
⋮
⋮
⋮
0
0
⋯
σ
2
]
E(\varepsilon \varepsilon’)= \sigma^2I = \left[\begin{array}{cccc} \sigma^2 & 0 &\cdots&0\\ 0 & \sigma^2 &\cdots&0\\ \vdots & \vdots & &\vdots\\ 0 & 0 &\cdots &\sigma^2 \end{array}\right]
E(εε’)=σ2I=
σ20⋮00σ2⋮0⋯⋯⋯00⋮σ2
于是
V
a
r
−
C
o
v
(
β
^
)
=
σ
2
(
X
′
X
)
−
1
Var-Cov(\hat \beta) = \sigma^2(X'X)^{-1}
Var−Cov(β^)=σ2(X′X)−1
在实际建模中，扰动项的方差并不是
V
a
r
(
ε
)
=
σ
i
2
f
(
X
)
Var(\varepsilon) = \sigma_i^2f(X)
Var(ε)=σi2f(X)
3异方差产生的原因
-
OLS假设条件苛刻：球形扰动项
-
模型设定偏误，导致非线性的变量遗漏
-
知道但无法获取的特征变量的遗漏变，增加了扰动项的波动性
例如，设真实模型：
y
=
a
+
b
x
1
+
c
x
2
+
u
y = a + bx_1 + cx_2+u
y=a+bx1+cx2+u
由于遗漏了变量
x
2
x_2
x2，实际建模为:
y
=
a
+
b
x
1
+
v
;
v
=
c
x
2
+
u
y = a + bx_1+v;v = cx_2+u
y=a+bx1+v;v=cx2+u
此时新的扰动项
v
v
v的方差为：
V
a
r
(
v
)
=
C
o
v
(
c
x
2
+
u
,
c
x
2
+
u
)
=
c
2
σ
x
2
+
σ
u
2
>
σ
u
2
Var (v) = Cov(cx_2+u,cx_2+u) = c^2\sigma_x^2+\sigma_u^2>\sigma_u^2
Var(v)=Cov(cx2+u,cx2+u)=c2σx2+σu2>σu2
-
模型设定误差模型为非线性模型，但却设定为线性模式（库兹涅茨效应）
-
变量选择：变量的测度不准确，被解释变量 y y y,与解释变量 x x x的观测误差导致方差增大
4 异方差后果
（1）参数无偏性不受影响
E ( β ^ ) = β E(\hat \beta) = \beta E(β^)=β
证明：
β
^
o
l
s
=
β
+
(
X
′
X
)
−
1
X
′
ε
\hat {\boldsymbol \beta}_{ols} = \boldsymbol \beta+(X'X)^{-1}X'\varepsilon
β^ols=β+(X′X)−1X′ε
故
E
(
β
^
)
=
E
(
β
+
(
X
′
X
)
−
1
X
′
ε
)
=
β
E(\hat \beta) =E( \boldsymbol \beta+(X'X)^{-1}X'\varepsilon) = \beta
E(β^)=E(β+(X′X)−1X′ε)=β
（2）有效性降低
存在异方差时，球形扰动假设不能满足，参数OLS估计量的方差不再是最小的方差。有效性定义为
V
a
r
(
β
^
∗
)
≤
V
a
r
(
β
′
)
,
∀
β
′
Var(\hat \beta^{*}) \le Var(\beta^{\prime}),\forall \beta^{'}
Var(β^∗)≤Var(β′),∀β′
则说
β
^
∗
\hat{\beta}^{*}
β^∗在对应的估计方法下，其参数估计量具有有效性。在球形扰动条件下，OLS的方差最有效，反之，不满足球形扰动就不是最有效。根据一元线性回归方程公式
V
a
r
(
β
^
)
=
σ
2
Σ
x
i
2
;
t
=
β
^
V
a
r
(
β
^
)
Var(\hat\beta) = \frac{\sigma^2}{\Sigma x_i^2};t = \frac{\hat\beta}{\sqrt{Var(\hat\beta) }}
Var(β^)=Σxi2σ2;t=Var(β^)β^
（3）对系数显著性影响
在 O L S OLS OLS经典回归模型中，估计量 β o l s \beta_{ols} βols是最佳有效线性估计量，因此其方差是所有估计量中最小方差。异方差则不是最小方差，从而导致统计量 t t t变小，容易扭曲系数的显著性：本应该显著的回归系数因为异方差原因低估了回归系数的显著性。
（4）对假设检验影响
- 系数检验t检验：一元线性回归为例， V a r ( β ^ ) ≠ σ 2 / Σ x i 2 Var(\hat\beta) \ne \sigma^2/\Sigma x_i^2 Var(β^)=σ2/Σxi2,从而 t t t统计量不是真实的统计量，影响系数显著性。
- 方程显著性检验F统计量：
5 如何识别异方差
5.1 图示法
-
画相关散点图
横轴为考察的自变量 x x x，纵轴为被解释变量 y y y，画出二者散点图。在 x x x条件下 y y y的变化的波动存在较大差异 -
残差图：
先利用OLS回归得到回归模型的的残差值 e e e，画 e e e与自变量 x x x的散点图，当 e e e随着 x x x变化存在明显的变化趋势时，可经验判断具有异方差
5.2 哥德菲尔德-夸特检验
前置条件
- 此检验只适用于大样本
- 仅解决同方差不成立情形
step1: 将解释变量按照从小到达顺序排序
step2: 排列在中间的 C C C个（约1/4）的观察值删除掉，再将剩余的观测值分为两个部分，每部分观察值的个数为 ( n − c ) / 2 (n-c)/2 (n−c)/2。
step3: 提出假设。即 : H 0 H_0 H0两部分数据的方差相等； H 1 H_1 H1两部分数据的方差不相等
step4: 构造F统计量。分别对上述两个部分的观察值作回归，由此得到的两个部分的残差平方和 Σ e 1 i 2 \Sigma e_{1i}^2 Σe1i2与 Σ e 2 i 2 \Sigma e_{2i}^2 Σe2i2，自由度均为 ( n − c ) / 2 − k (n-c)/2-k (n−c)/2−k
step5: 在原假设条件下，构造统计量
F
⋆
=
∑
e
2
i
2
/
[
n
−
c
2
−
k
]
∑
e
1
i
2
/
[
n
−
c
2
−
k
]
=
∑
e
2
i
2
∑
e
1
i
2
∼
F
(
n
−
c
2
−
k
,
n
−
c
2
−
k
)
F^{\star}=\frac{\sum e_{2 i}^{2} /\left[\frac{n-c}{2}-k\right]}{\sum e_{1 i}^{2} /\left[\frac{n-c}{2}-k\right]}=\frac{\sum e_{2 i}^{2}}{\sum e_{1 i}^{2}} \sim F\left(\frac{n-c}{2}-k, \frac{n-c}{2}-k\right)
F⋆=∑e1i2/[2n−c−k]∑e2i2/[2n−c−k]=∑e1i2∑e2i2∼F(2n−c−k,2n−c−k)
step6: 判断。若
F
⋆
>
F
(
n
−
c
2
−
k
,
n
−
c
2
−
k
)
F^{\star}>F\left(\frac{n-c}{2}-k, \frac{n-c}{2}-k\right)
F⋆>F(2n−c−k,2n−c−k)，则拒绝原假设，存在异方差
局限性：前半部分与后半部分同方差，而中间可能部分存在异方差
5.3 怀特检验
σ
i
2
=
σ
2
f
(
X
i
)
\sigma_i^2 = \sigma^2f(X_i)
σi2=σ2f(Xi)
表明扰动项方差关于自变量
X
X
X的函数，那么用扰动项对
X
X
X求回归，以判断哪些自变量对方差产生显著的影响。由于总体数据无法获取，因此利用样本数据回归得到的残差平方和
e
i
2
e_i^2
ei2对自变量
X
X
X进行
O
L
S
OLS
OLS回归.例如
y
=
b
^
0
+
b
^
1
x
1
+
b
^
2
x
2
+
e
y = \hat b_0 +\hat b_1 x_1+\hat b_2x_2+e
y=b^0+b^1x1+b^2x2+e
得到残差：
e
=
y
−
y
^
e = y - \hat y
e=y−y^
再构造辅助回归：
e
i
2
=
a
0
+
a
1
x
1
+
a
2
x
2
+
a
3
x
1
2
+
a
4
x
4
2
+
a
5
x
1
x
2
+
v
e_i^2 = a_0+a_1x_1+a_2x_2+a_3x_1^2+a_4x_4^2+a_5x_1x_2+v
ei2=a0+a1x1+a2x2+a3x12+a4x42+a5x1x2+v
R
2
R^2
R2为辅助回归可决系数。在原假设：
H
0
:
α
i
(
i
=
1
,
3
,
…
…
5
)
=
0
H_0:\alpha_i(i= 1,3,……5)= 0
H0:αi(i=1,3,……5)=0成立条件下，计算统计量
n
R
2
nR^2
nR2，其中
n
n
n为样本，进行比较，若
n
R
2
>
χ
2
(
5
)
nR^2 > \chi^2(5)
nR2>χ2(5)
则拒绝原假设，存在异方差。原假设：
H
0
:
E
(
ε
i
2
∣
x
2
,
⋯
,
x
K
)
=
σ
2
H_{0}: \mathrm{E}\left(\varepsilon_{i}^{2} \mid x_{2}, \cdots, x_{K}\right)=\sigma^{2}
H0:E(εi2∣x2,⋯,xK)=σ2
u
^
2
=
δ
0
+
∑
j
=
1
k
δ
j
x
j
+
∑
j
=
1
k
∑
p
=
j
k
δ
j
p
x
j
x
p
+
v
\hat{u}^{2}=\delta_{0}+\sum_{j=1}^{k} \delta_{j} x_{j}+\sum_{j=1}^{k} \sum_{p=j}^{k} \delta_{j p} x_{j} x_{p}+v
u^2=δ0+j=1∑kδjxj+j=1∑kp=j∑kδjpxjxp+v
L
M
=
n
R
u
2
∼
χ
k
(
k
+
1
)
/
2
+
k
2
L M=n R_{u}^{2} \sim \chi_{k(k+1) / 2+k}^{2}
LM=nRu2∼χk(k+1)/2+k2
评价：可以检验任何形式的异方差；缺点：如果 H 0 H_0 H0被拒绝，并不提供有关异方差具体形式的信息。
5.4 Bp检验（布鲁奇-帕甘）
构造辅助回归
e
i
2
=
a
0
+
a
1
x
1
+
a
2
x
2
+
e
r
r
o
e_i^2 = a_0+a_1x_1+a_2x_2+erro
ei2=a0+a1x1+a2x2+erro
使用
n
R
2
nR^2
nR2统计量：
n
R
2
⟶
d
χ
2
(
K
−
1
)
n R^{2} \stackrel{d}{\longrightarrow} \chi^{2}(K-1)
nR2⟶dχ2(K−1)
BP 检验的优点在于其建设性，可帮助确认异方差的具体形式。但不含二次项形式。或者一种更简练的节省自由度的方法：
e
i
2
=
a
+
b
y
^
i
+
e
r
r
o
e_i^2 = a + b\hat y_i+erro
ei2=a+by^i+erro
e
i
2
=
a
+
b
y
^
i
+
c
y
^
2
+
e
r
r
o
e_i^2 = a + b\hat y_i+c \hat y^2+erro
ei2=a+by^i+cy^2+erro
6 补救
6.1 使用“OLS + 稳健标准误”
这是最简单，也是目前通用的方法。只要样本容量较大，即使在异方差的情况下，若使用稳健标准误，则所有参数估计、假设检验均可照常进行。ols回归系数方差公式
Cov
(
β
^
∣
x
)
=
(
x
′
x
)
−
1
x
′
E
(
u
u
′
∣
x
)
x
(
x
′
x
)
−
1
\operatorname{Cov}(\hat{\beta} \mid x)=\left(x^{\prime} x\right)^{-1} x^{\prime} \mathrm{E}\left(u u^{\prime} \mid x\right) x\left(x^{\prime} x\right)^{-1}
Cov(β^∣x)=(x′x)−1x′E(uu′∣x)x(x′x)−1
异方差稳健方差：
Cov
^
(
β
^
∣
x
)
=
(
x
′
x
)
−
1
(
∑
u
^
i
2
x
i
′
x
i
)
(
x
′
x
)
−
1
\widehat{\operatorname{Cov}}(\hat{\beta} \mid x)=\left(x^{\prime} x\right)^{-1}\left(\sum \hat{u}_{i}^{2} x_{i}^{\prime} x_{i}\right)\left(x^{\prime} x\right)^{-1}
Cov
(β^∣x)=(x′x)−1(∑u^i2xi′xi)(x′x)−1
聚类稳健标准方差：
Cov
^
(
β
^
∣
x
)
=
(
x
′
x
)
−
1
(
∑
g
=
1
G
x
g
′
u
^
g
′
u
^
g
x
g
)
(
x
′
x
)
−
1
\widehat{\operatorname{Cov}}(\hat{\beta} \mid x)=\left(x^{\prime} x\right)^{-1}\left(\sum_{g=1}^{G} x_{g}^{\prime} \hat{u}_{g}^{\prime} \hat{u}_{g} x_{g}\right)\left(x^{\prime} x\right)^{-1}
Cov
(β^∣x)=(x′x)−1(g=1∑Gxg′u^g′u^gxg)(x′x)−1
6.2 广义最小二乘法 GLS
假设 Var ( ε ∣ X ) = E ( ε ε ′ ∣ X ) = σ 2 V ( X ) ≠ σ 2 I n \operatorname{Var}(\varepsilon \mid \boldsymbol{X})=E(\varepsilon\varepsilon'|X)=\sigma^{2} \boldsymbol{V}(\boldsymbol{X}) \neq \sigma^{2} \boldsymbol{I}_{n} Var(ε∣X)=E(εε′∣X)=σ2V(X)=σ2In，且 V ( X ) \boldsymbol{V}(\boldsymbol{X}) V(X)正定对称且已知，基本思想：通过变量转换，使得转换后的模型满足球型扰动项的假定。
定理：对于任意正定对称矩阵 V n × n \boldsymbol{V}_{n\times n} Vn×n,存在非退化矩阵 C n × n \boldsymbol{C}_{n\times n} Cn×n，使得 V − 1 = C ′ C \boldsymbol {V}^{-1} = \boldsymbol {C}^{\prime}\boldsymbol{C} V−1=C′C。矩阵 C \boldsymbol C C不唯一，但不影响最终结果
设回归模型
y
=
X
β
+
ε
y=X \beta+\varepsilon
y=Xβ+ε
两边同时左乘矩阵
C
C
C得：
C
y
=
C
X
β
+
C
ε
C y=C X \beta+C \varepsilon
Cy=CXβ+Cε
定义变量转换：
y
~
≡
C
y
,
X
~
≡
C
X
,
ε
~
≡
C
ε
\tilde{y} \equiv C y, \tilde{X} \equiv C X, \tilde{\varepsilon} \equiv C \varepsilon
y~≡Cy,X~≡CX,ε~≡Cε
可将模型写为：
y
~
=
X
~
β
+
ε
~
\tilde{y}=\tilde{X} \beta+\tilde{\varepsilon}
y~=X~β+ε~
变换后的模型仍满足严格外生性：
E
(
ε
~
∣
X
~
)
=
E
(
C
ε
∣
C
X
)
=
E
(
C
ε
∣
X
)
=
C
E
(
ε
∣
X
)
=
0
\mathrm{E}(\tilde{\boldsymbol{\varepsilon}} \mid \tilde{\boldsymbol{X}})=\mathrm{E}(\boldsymbol{C} \boldsymbol{\varepsilon} \mid \boldsymbol{C X})=\mathrm{E}(\boldsymbol{C} \boldsymbol{\varepsilon} \mid \boldsymbol{X})=\boldsymbol{C} \mathrm{E}(\boldsymbol{\varepsilon} \mid \boldsymbol{X})=\boldsymbol{0}
E(ε~∣X~)=E(Cε∣CX)=E(Cε∣X)=CE(ε∣X)=0
球型扰动项的假定也得到满足：
Var
(
ε
~
∣
X
~
)
=
E
(
ε
~
ε
~
′
∣
X
)
=
E
(
C
ε
ε
′
C
′
∣
X
)
=
C
E
(
ε
ε
′
∣
X
)
C
′
=
σ
2
C
V
C
′
=
σ
2
C
(
V
−
1
)
−
1
C
′
=
σ
2
C
(
C
′
C
)
−
1
C
′
=
σ
2
C
C
−
1
(
C
′
)
−
1
C
′
=
σ
2
I
n
\begin{aligned} \operatorname{Var}(\tilde{\varepsilon} \mid \tilde{\boldsymbol{X}}) &=\mathrm{E}\left(\tilde{\varepsilon} \tilde{\boldsymbol{\varepsilon}}^{\prime} \mid \boldsymbol{X}\right)=\mathrm{E}\left(\boldsymbol{C} \boldsymbol{\varepsilon} \boldsymbol{\varepsilon}^{\prime} \boldsymbol{C}^{\prime} \mid \boldsymbol{X}\right)=\boldsymbol{C} \mathrm{E}\left(\boldsymbol{\varepsilon} \boldsymbol{\varepsilon}^{\prime} \mid \boldsymbol{X}\right) \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{C} \boldsymbol{V} \boldsymbol{C}^{\prime} \\ &=\sigma^{2} \boldsymbol{C}\left(\boldsymbol{V}^{-1}\right)^{-1} \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{C}\left(\boldsymbol{C}^{\prime} \boldsymbol{C}\right)^{-1} \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{C} \boldsymbol{C}^{-1}\left(\boldsymbol{C}^{\prime}\right)^{-1} \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{I}_{n} \end{aligned}
Var(ε~∣X~)=E(ε~ε~′∣X)=E(Cεε′C′∣X)=CE(εε′∣X)C′=σ2CVC′=σ2C(V−1)−1C′=σ2C(C′C)−1C′=σ2CC−1(C′)−1C′=σ2In
故高斯-马尔可夫定理成立。对变换后的模型使用 OLS 即得到GLS 估计量：
β
^
G
L
S
=
(
X
~
′
X
~
)
−
1
X
~
′
y
~
=
[
(
C
X
)
′
(
C
X
)
]
−
1
(
C
X
)
′
C
y
=
(
X
′
C
′
C
X
)
−
1
X
′
C
′
C
y
=
(
X
′
V
−
1
X
)
−
1
X
′
V
−
1
y
\begin{aligned} \hat{\beta}_{\mathrm{GLS}} &=\left(\tilde{\boldsymbol{X}}^{\prime} \tilde{\boldsymbol{X}}\right)^{-1} \tilde{\boldsymbol{X}}^{\prime} \tilde{\boldsymbol{y}}=\left[(\boldsymbol{C X})^{\prime}(\boldsymbol{C X})\right]^{-1}(\boldsymbol{C X})^{\prime} \boldsymbol{C} \boldsymbol{y} \\ &=\left(\boldsymbol{X}^{\prime} \boldsymbol{C}^{\prime} \boldsymbol{C} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \boldsymbol{C}^{\prime} \boldsymbol{C} \boldsymbol{y}=\left(\boldsymbol{X}^{\prime} \boldsymbol{V}^{-1} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \boldsymbol{V}^{-1} \boldsymbol{y} \end{aligned}
β^GLS=(X~′X~)−1X~′y~=[(CX)′(CX)]−1(CX)′Cy=(X′C′CX)−1X′C′Cy=(X′V−1X)−1X′V−1y
虽然
C
C
C不唯一，但
β
^
\hat{\beta}
β^唯一。显然
β
^
G
L
S
\hat{\beta}_{\mathrm{GLS}}
β^GLS是是BLUE，比OLS 更有效。但前提是必须知道协方差矩
V
V
V
6.3 加权最小二乘法WLS
假设仅存在异方差，无自相关，
V
n
×
n
\boldsymbol{V}_{n\times n}
Vn×n为对角阵。方差小的数据提供的信息量大。WLS 根据信息量大小进行加权。假定
E
(
ε
i
2
∣
x
i
)
=
Var
(
ε
i
∣
x
i
)
=
σ
2
v
i
(
X
)
\mathrm{E}\left(\varepsilon_{i}^{2} \mid \boldsymbol{x}_{i}\right)=\operatorname{Var}\left(\varepsilon_{i} \mid \boldsymbol{x}_{i}\right)=\sigma^{2} v_{i}(\boldsymbol{X})
E(εi2∣xi)=Var(εi∣xi)=σ2vi(X)
其中
V
=
(
v
1
0
v
2
⋱
0
v
n
)
,
V
−
1
=
(
1
/
v
1
0
1
/
v
2
⋱
0
1
/
v
n
)
\boldsymbol{V}=\left(\begin{array}{ccc} v_{1} & & 0 \\ & v_{2} & & \\ & & \ddots & \\ 0 & & & v_{n} \end{array}\right), \quad \boldsymbol{V}^{-1}=\left(\begin{array}{cccc} 1 / v_{1} & & & 0 \\ & 1 / v_{2} & & \\ & & \ddots & \\ 0 & & & 1 / v_{n} \end{array}\right)
V=
v10v20⋱vn
,V−1=
1/v101/v2⋱01/vn
因为
V
−
1
=
C
′
C
\boldsymbol {V}^{-1} = \boldsymbol {C}^{\prime}\boldsymbol{C}
V−1=C′C故
C
=
C
′
=
(
1
/
v
1
0
1
/
v
2
⋱
0
1
/
v
n
)
\boldsymbol{C}=\boldsymbol{C}^{\prime}=\left(\begin{array}{cccc} 1 / \sqrt{v_{1}} & & & 0 \\ & 1 / \sqrt{v_{2}} & & \\ & & \ddots & \\ 0 & & & 1 / \sqrt{v_{n}} \end{array}\right)
C=C′=
1/v101/v2⋱01/vn
y ~ ≡ C y = ( 1 / v 1 0 1 / v 2 ⋱ 0 1 v n ) ( y 1 y 2 ⋮ y n ) = ( y 1 / v 1 y 2 / v 2 ⋮ y n / v n ) \tilde{\boldsymbol{y}} \equiv \boldsymbol{C} \boldsymbol{y}=\left(\begin{array}{cccc} 1 / \sqrt{v_{1}} & & & 0 \\ & 1 / \sqrt{v_{2}} & & \\ & & \ddots & \\ 0 & & & 1 & \sqrt{v_{n}} \end{array}\right)\left(\begin{array}{c} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{array}\right)=\left(\begin{array}{c} y_{1} / \sqrt{v_{1}} \\ y_{2} / \sqrt{v_{2}} \\ \vdots \\ y_{n} / \sqrt{v_{n}} \end{array}\right) y~≡Cy= 1/v101/v2⋱01vn y1y2⋮yn = y1/v1y2/v2⋮yn/vn
其中
X
~
≡
C
X
=
(
1
/
v
1
0
1
/
v
2
⋱
0
1
/
v
n
)
(
x
11
…
x
1
K
x
21
…
x
2
K
⋮
⋮
x
n
1
…
x
n
K
)
=
(
x
11
/
v
1
…
x
1
K
/
v
1
x
21
/
v
2
…
x
2
K
/
v
2
⋮
⋮
x
n
1
/
v
n
…
x
n
K
)
\begin{aligned} \tilde{\boldsymbol{X}} \equiv \boldsymbol{C X} &=\left(\begin{array}{cccc} 1 / \sqrt{v_{1}} & & & 0 \\ & 1 / \sqrt{v_{2}} & & \\ & & \ddots & \\ 0 & & & 1 / \sqrt{v_{n}} \end{array}\right)\left(\begin{array}{ccc} x_{11} & \ldots & x_{1 K} \\ x_{21} & \ldots & x_{2 K} \\ \vdots & & \vdots \\ x_{n 1} & \ldots & x_{n K} \end{array}\right) \\ \\ &=\left(\begin{array}{ccc} x_{11} / \sqrt{v_{1}} & \ldots & x_{1 K} / \sqrt{v_{1}} \\ x_{21} / \sqrt{v_{2}} & \ldots & x_{2 K} / \sqrt{v_{2}} \\ \vdots & & \vdots \\ x_{n 1} / \sqrt{v_{n}} & \ldots & x_{n K} \end{array}\right) \end{aligned}
X~≡CX=
1/v101/v2⋱01/vn
x11x21⋮xn1………x1Kx2K⋮xnK
=
x11/v1x21/v2⋮xn1/vn………x1K/v1x2K/v2⋮xnK
其中权重
1
/
v
i
1/\sqrt{v_i}
1/vi表示标准差的倒数，第
i
i
i个观测的回归方程为：
y
i
v
i
=
β
1
x
i
1
v
i
+
β
2
x
i
2
v
i
+
⋯
+
β
K
x
i
K
v
i
+
ε
i
v
i
\frac{y_{i}}{\sqrt{v_{i}}}=\beta_{1} \frac{x_{i 1}}{\sqrt{v_{i}}}+\beta_{2} \frac{x_{i 2}}{\sqrt{v_{i}}}+\cdots+\beta_{K} \frac{x_{i K}}{\sqrt{v_{i}}}+\frac{\varepsilon_{i}}{\sqrt{v_{i}}}
viyi=β1vixi1+β2vixi2+⋯+βKvixiK+viεi
新扰动项为
ε
i
/
v
i
\varepsilon_{i} / \sqrt{v_{i}}
εi/vi，可将WLS视为最小化“加权的残差平方和：
min
β
⃗
S
S
R
=
∑
i
=
1
n
(
e
i
/
v
i
)
2
=
∑
i
=
1
n
e
i
2
v
i
\min _{\vec{\beta}} \mathrm{SSR}=\sum_{i=1}^{n}\left(e_{i} / \sqrt{v_{i}}\right)^{2}=\sum_{i=1}^{n} \frac{e_{i}^{2}}{v_{i}}
βminSSR=i=1∑n(ei/vi)2=i=1∑nviei2
权重为
1
/
v
i
1/v_i
1/vi
6.4 可行广义最小二乘法FGLS
必须先用样本数据估计
V
n
×
n
\boldsymbol{V}_{n\times n}
Vn×n然后才能使用GLS，故称为 FGLS或“可行加权最小二乘法”(Feasible WLS，简记FWLS)，即
β
^
F
G
L
S
=
(
X
′
V
^
−
1
X
)
−
1
X
′
V
^
−
1
y
\hat{\beta}_{\mathrm{FGLS}}=\left(\boldsymbol{X}^{\prime} \hat{V}^{-1} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \hat{V}^{-1} \boldsymbol{y}
β^FGLS=(X′V^−1X)−1X′V^−1y
其中
V
^
\hat{V}
V^是
V
{V}
V的一致估计量。
V
(
X
)
{V}(X)
V(X)包含过多参数，实践中，常考虑只有异方差，或只有一阶自相关的情形。以FWLS 为例。在作BP 检验时， 通过辅助回归（此处及其谨慎，为什么就假定为线性形式？一旦设定错误会有什么影响）
e
i
2
=
δ
1
+
δ
2
x
i
2
+
⋯
+
δ
K
x
i
K
+
error
i
e_{i}^{2}=\delta_{1}+\delta_{2} x_{i 2}+\cdots+\delta_{K} x_{i K}+\text { error }_{i}
ei2=δ1+δ2xi2+⋯+δKxiK+ error i
就可获得
σ
i
2
\sigma_i^2
σi2的估计值
σ
^
i
2
\hat \sigma_i^2
σ^i2。为保证
σ
^
i
2
\hat \sigma_i^2
σ^i2为正数，假设辅助回归为指数函数的形式：
e
i
2
=
σ
2
exp
(
δ
1
+
δ
2
x
i
2
+
⋯
+
δ
K
x
i
K
)
v
i
e_{i}^{2}=\sigma^{2} \exp \left(\delta_{1}+\delta_{2} x_{i 2}+\cdots+\delta_{K} x_{i K}\right) v_{i}
ei2=σ2exp(δ1+δ2xi2+⋯+δKxiK)vi
其中
v
i
v_i
vi表示乘积形式扰动项，取对数后可得
ln
e
i
2
=
(
ln
σ
2
+
δ
1
)
+
δ
2
x
i
2
+
⋯
+
δ
K
x
i
K
+
ln
v
i
\ln e_{i}^{2}=\left(\ln \sigma^{2}+\delta_{1}\right)+\delta_{2} x_{i 2}+\cdots+\delta_{K} x_{i K}+\ln v_{i}
lnei2=(lnσ2+δ1)+δ2xi2+⋯+δKxiK+lnvi
得到
ln
e
i
2
\ln e_{i}^{2}
lnei2的预测值
ln
σ
^
i
2
\ln \hat\sigma_i^2
lnσ^i2，进而得到拟合值
σ
^
i
2
=
e
ln
σ
^
i
2
\hat{\sigma}_{i}^{2}=e^{\ln \hat{\sigma}_{i}^{2}}
σ^i2=elnσ^i2，然后以
1
/
σ
^
i
2
1/\hat{\sigma}_{i}^{2}
1/σ^i2作为权重，进行WLS
参考文献
庞皓.计量经济学（第三版）,北京：科学出版社114-125，2014
陈强.高级计量经济学及 Stata 应用（第二版，第 7章 ）北京：高等教育出版社，2014。
394
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
