Wold分解定理

Wold分解定理： 平稳随机过程总可以分解成“可预测”和“纯随机”两部分之和。

数学家Herman Wold( 沃尔德1902-1950)1938年提出：任何一个平稳过程都可以分解为两个不相关(或是说相互正交)的平稳过程之和。其中一个为确定性部分，可以用过去值描述现在值的部分，也称为可预测部分(或奇异部分)；另一个为纯随机性部分，也称为正则部分。

设$z_t$为平稳随机过程，$z_t$总可以分解为：
$$z_t=x_t+y_t(1)$$

并且过程$x_t$与$y_t$相互正交，即：
$$E(x_t{y}_{t+k})=0,k=0,\pm 1,\pm 2,\cdots (2)$$

$x_t$称为奇异部分(或可预测部分，或确定性部分)，含义是可以用其过去值描述其现在值。即$x_t$可以表示成(3)式所示的$p$阶自回归差分方程。
$y_t$称为正则部分(或不确定部分，或纯随机部分)，含义是完全无法预测。即 可以表示成(5)式所示的$q$阶滑动平均差分方程。
平稳随机过程$z_t$总可以表示成(7)式所示的自回归-滑动平均方程。Wold将平稳过程分解为奇异和正则两部分，奇异部分是可以精确预测部分，正则部分是无法准确预测部分。

随机过程的随机性
随机过程是随机性与确定性的矛盾统一体。随机变量的随机性表现在无法用确定函数描述其样本函数，确定性表现在其统计特征可以用确定函数(或值)描述。随机过程是随机变量随时间的推演，所以随机过程的随机性与确定性表现为随机变量的随机性与确定性随着时间的推演。随着时间的推演，一方面不断有新的随机变量产生，带来新的不确定性，另一方面不确定性随时间的推演可以具有确定的规律性。
根据随机性随时间的变化情况，可以将随机过程分为奇异过程( 可预测过程)和正则过程(不可预测过程)。

奇异过程
如果过程的随机性不随时间变化，则称该过程为奇异过程。要注意的是随机性不变，不是没有随机性，只是随机性不随时间改变。按信息论的观点，随着时间的发展，奇异过程没有新的随机因素加入，过程所含信息量保持不变，不再提供任何新信息。按预测的观点，奇异过程是“可预测”过程。“可预测”的涵义是：用过程的过去值对未来值进行预测时，能够实现一致性预测，即预测的均方误差能够趋于0。在预测方法上，一般考虑线性预测。
对于随机过程 { x t } \{x_t\} {xt​}，考虑用$t$时刻之前的$p$个值的线性组合对$t$时刻的真值$x_t$进行线性预测:
$$x_t=\sum _{k=1}^p{a}_k{x}_{t-k}+u_t(3)$$

其中，$a_k$是常系数，$e_t$是(预测)误差。如果预测的均方误差满足:
$$\underset{p\to \infty }{\lim }{\left(x_t-\sum _{k=1}^p{a}_k{x}_{t-k}\right)}^2=0$$

则称过程$x_t$是可预测过程。
(3)式是一个$p$阶自回归差分方程。我们将满足(3)式的随机过程称为$p$阶$AR$过程，记为$AR(p)$。

正则过程
如果任何两个不同时刻的随机性都不相同，则称该过程为正则过程。正则过程是与奇异过程特征恰好相反的过程。按信息论的观点，任一时刻的下时刻，正则过程都有新信息加入。按预测的观点，正则过程是“不可预测”过程。“不可预测”的涵义是无法实现一致性预测。
白噪声过程是正则过程的代表。对于任何分布的正则过程( 不可预测过程)，总可以用白噪声过程的线性组合表示，即：
$$y_t=u_t+\sum _{k=1}^q{b}_k{u}_{t-k}(5)$$

且：
$$E(u_t{u}_{t+k})=0,\forall k=\pm 1,\pm 2,\cdots (6)$$

(5)式是一个$q$阶滑动平均差分方程。我们将满足(5)式的随机过程称为$q$阶$MA$过程，记为$MA(q)$。

实际过程
奇异过程(可预测过程)和正则过程(纯随机过程)是随机过程的两个极端。一般随机过程的随机性、可预测性介于奇异过程和正则过程之间。因此，实际随机过程可以表示为:
$$x_t=\sum _{k=1}^p{a}_k{x}_{t-k}+u_t+\sum _{k=1}^q{b}_k{u}_{t-k}(7)$$

(7)式是一个自回归-滑动平均差分方程。我们将满足(7)式的随机过程称为$ARMA$过程，记为$ARMA(p,q)$
引人移位算子可以简化模型差分方程(7)式的表达。定义:
$$L^{-k}{x}_t\equiv x_{t-k}(8)$$

称$L^{-k}$为后项移位算子。
引入符号：
$$\begin{gathered} A(L)=1-a_1{L}^{-1}-a_2{L}^{-2}-\cdots -a_p{L}^{-p}(9) \\ B(L)=1+b_1{L}^{-1}+b_2{L}^{-2}+\cdots +b_p{L}^{-p}(10) \end{gathered}$$

则$ARMA$可简写成：
$$A(L)x_t=B(L)u_t(11)$$

如果$B(L)=1$，则$ARMA$模型退化为$AR$模型：
$$A(L)x_t=u_t(12)$$

如果$A(L)=1$，则$ARMA$模型退化为$MA$模型：
$$x_t=B(L)u_t(13)$$

$AR$模型和$MA$模型是$ARMA$模型的两个特例。