【时间序列分析】16. Wold表示定理

Wold 表示定理

Hilbert 空间中的投影

回忆随机变量的 Hilbert 空间的概念：用 $L^2$ 表示二阶矩有限的随机变量的全体： L 2 = { X : E X 2 < ∞ } L^2=\{X:EX^2<\infty\} L2={ X:EX2<∞} ，则 $L^2$ 也是线性空间、内积空间和距离空间。下面说明最佳线性预测实际上是 Hilbert 空间中的投影。

首先给出 Hilbert 空间中的投影的相关定义。

设 $H$ 是 $L^2$ 的闭子空间，$Y\in L^2$ ，可以证明 $H$ 中存在唯一的 $\hat{Y}$ 使得
$$\mathrm{E}(Y-\hat{Y}{)}^2=\underset{\xi \in H}{\inf }\mathrm{E}(Y-Y_n{)}^2$$
称 $\hat{Y}$ 是 $Y$ 在 $H$ 上的投影，记作 $P_H(Y)$ ，并且称 $P_H$ 为投影算子。

设 $Y\in L^2$ ，如果对 $H$ 中的任何 $\xi$ ，$\mathrm{E}(Y\xi )=0$ ，则称 $Y$ 垂直于 $H$ 。

在这篇文章中我们不对投影的存在性和唯一性进行证明。接着我们引出投影的垂直性定理，同样我们也略去证明。事实上，引入 Hilbert 空间中的投影概念是为了后续 Wold 表示定理更容易理解，因此不拘泥于本章中定理的证明。

设 $Y\in L^2$ ，$\hat{Y}\in H$ ，则 $\hat{Y}=P_H(Y)$ 的充分必要条件是 $(Y-\hat{Y})$ 垂直于 $H$ 。

根据定理，我们可以将最佳线性预测和投影联系起来，即 $L(Y|\mathbf{X})=P_H(Y)=\hat{Y}$ ，这里有 $L(Y|\mathbf{X})$ 是 $Y$ 在 $X_1,X_2,\cdots ,X_n$ 张成的空间 ( 记为 $\mathrm{s}\mathrm{p}(\mathbf{X})$ ) 上的投影。从最佳线性预测的性质出发，可以得到以下关于最佳线性预测与投影算子的性质。

设 $H,M$ 是 $L^2$ 的闭子空间，$X,Y\in L^2$ ，$a,b$ 为常数。

(1) $L(aX+bY|H)=aL(X|H)+bL(Y|H)$ ；

(2) $||Y|{|}^2=||L(Y|H)|{|}^2=||Y-L(Y|H)|{|}^2$ ；

(3) $||L(Y|H)||\le ||Y||$ ；

(4) $Y\in H$ 的充分必要条件是 $L(Y|H)=Y$ ；

(5) $Y\perp H$ 的充分必要条件是 $L(Y|H)=0$ ；

(6) 如果 $H\subset M$ ，则 $P_H{P}_M=P_H$ ，并且对 $Y\in L^2$ ，
$$\mathrm{E}{\left[Y-L(Y|M)\right]}^2\le \mathrm{E}[Y-L(Y|H){]}^2.$$
$H$ 是 $M$ 的子空间意味着 $M$ 比 $H$ 包含更多的历史信息，用最佳线性预测的性质看，随着历史信息的增加，预测效果不会变得更差。

线性闭包

之前我们将 $X_1,X_2,\cdots ,X_n$ 张成的空间记为 $\mathrm{s}\mathrm{p}(\mathbf{X})$ ，但由于 $\mathbf{X}$ 是有限维向量， $\mathrm{s}\mathrm{p}(\mathbf{X})$ 是由 $\mathbf{X}$ 中元素的有限线性组合构成的集合。在讨论预测问题时我们需要考虑充分多的历史信息，要将 $\mathbf{X}$ 扩展到无穷维，而且 Hilbert 空间是完备的，就需要对 $\mathrm{s}\mathrm{p}(\mathbf{X})$ 的极限情况加以讨论。于是引入线性闭包的概念。

设 $A$ 为 Hilbert 空间 $H$ 的子集，记 $\mathrm{s}\mathrm{p}(A)$ 或 $L_A$ 为 $A$ 的所有有限线性组合构成的集合，记 $\overline{\mathrm{s}\mathrm{p}}(A)$ 或 ${\bar{L}}_A$ 为 $\mathrm{s}\mathrm{p}(A)$ 的元素及其元素极限构成的集合。记 $H_A$ 为包含 $A$ 的最小的闭子空间，事实上 H A = s p ‾ ( A ) H_A=\overline{\rm sp}(A) H