【时间序列分析】04.Hilbert空间

四、Hilbert空间

1.平稳序列的导出——$L^2(X)$空间

在时间序列的预测中，常常会用历史信息对将来进行预测，最常见的预测就是线性预测，即
$$X_{n+k}=a_1{X}_1+a_2{X}_2+\cdots +a_n{X}_n$$
的形式。如果进行预测的项数是有限的，则这种求和是有意义的，但如果推广到无限，需要确保这样的求和是有意义的（即收敛），在这里，我们一般指均方收敛，至于为什么，在下面的论证过程中将体现。

为了研究这样的线性和，我们不妨对平稳序列 { X t } \{X_t\} {Xt​}构造一个空间对线性和进行研究：
$$L^2(X)=\left\{\sum _{j=1}^k{a}_j{X}_{t_j}|a_j\in \mathbb{R},t_j\in \mathbb{Z},1\le j\le k,k\in {\mathbb{N}}_{+}\right\}$$
也就是说$L^2(X)$是关于平稳序列 { X t } \{X_t\} {Xt​}的有限维线性和构成的空间，并且它是一个线性空间，因为对任何$X,Y,Z\in L^2(X),a,b\in \mathbb{R}$，都有

• 加法交换律与结合律：$X+Y=Y+X\in L^2(X),(X+Y)+Z=X+(Y+Z)$；
• 零元素存在性：$0\in L^2(X),X+0=X,X+(-X)=0$；
• 数乘分配律与结合律：$a(X+Y)=aX+aY,(a+b)X=aX+bX,a(bX)=(ab)X$。

如果引入内积，可以将$L^2(X)$扩展成一个内积空间，这里内积定义为$⟨X,Y⟩=\mathrm{E}(XY)$，追加满足

• $⟨X,Y⟩=⟨Y,X⟩,⟨aX+bY,Z⟩=a⟨X,Z⟩+b⟨Y,Z⟩$；
• $⟨X,X⟩\ge 0$，且$⟨X,X⟩=0$当且仅当$X=0$以概率1成立；
• 柯西不等式：$|⟨X,Y⟩|\le [⟨X,X⟩⟨Y,Y⟩{]}^{1/2}$。

有了内积以后就可以定义距离为$||X-Y||=(⟨X-Y,X-Y⟩{)}^{1/2}$，使其成为距离空间，追加满足

• $||X-Y||=||Y-X||\ge 0$，且$||X-Y||=0$当且仅当$X=Y$以概率1成立；
• 三角不等式：$||X-Y||\le ||X-Z||+||Z-Y||$。

这样一步步将$L^2(X)$从线性空间扩充成内积空间、距离空间，说明平稳序列有限和具有诸多良好的性质，不过我们的目标是将有限和向无限和扩展，而无限中，最重要的就是收敛，为此我们需要定义一些关于随机变量收敛的概念。

2.二阶矩空间——$L^2$空间

平稳序列总是二阶矩有限的，因此我们可以把平稳序列纳入到一类更宽广的空间中，用$L^2$表示二阶矩有限的随机变量的全体即 L 2 = { X : E X 2 < ∞ } L^2=\{X:{\rm E}X^2<\infty\} L2={X:EX2<∞}，我们希望能够在$L^2$中找到关于收敛的定义。首先显然$L^2$也是内积空间和距离空间，并且$L^2(X)$是$L^2$的子空间，因此在$L^2(X)$中定义的概念在$L^2$中依然适用。

因为我们之前定义了距离，从直观上来看，一列随机变量收敛于一个随机变量，体现为它们的“距离”无限接近，因此我们可以直观地将收敛定义为：$\underset{n\to \infty }{\lim }||{\xi }_n-{\xi }_0||=0\iff {\xi }_n\stackrel{\mathrm{m}.\mathrm{s}.}{⟶}{\xi }_0$。因为这里$||{\xi }_n-\xi |{|}^2=\mathrm{E}({\xi }_n-\xi {)}^2$，所以这里的收敛指均方收敛。

可以发现，这个收敛定义与实数列的收敛极其相似，因此考虑实数系的连续性与完备性，引入基本列的定义：如果$n,m\to \infty$时$||{\xi }_n-{\xi }_m||\to 0$，就称 { ξ n } \{\xi_n\} {ξn​}是$L^2$中的基本列或Cauchy列。类比实数的Cauchy列，Cauchy列与收敛是等价的，而在$L^2$内，这个性质依然是成立的：

定理：如果 { ξ n } \{\xi_n\} {ξn​}是$L^2$中的基本列，则存在唯一的$\xi \in L^2$（$\mathrm{a}.\mathrm{s}.$意义下），使得${\xi }_n\stackrel{\mathrm{m}.\mathrm{s}.}{⟶}\xi$。

由此定理，我们知道内积空间$L^2$中每一个基本列都有极限，而且极限也在这个内积空间中，我们就称内积空间$L^2$是完备的。更一般地，我们将完备的内积空间（如$L^2$）称为Hilbert空间。

然而$L^2(X)$并不一定能保证完备性，因此，我们取$L^2$中包含$L^2(X)$的最小闭子空间为${\bar{L}}^2(X)$，这样，${\bar{L}}^2(X)$就是一个Hilbert空间，在${\bar{L}}^2(X)$中研究随机变量的收敛性更合适。

3.无穷滑动和系数条件放宽——平方可和

要证明这个结论，首先需要提出内积连续性定理：

内积的连续性定理：在内积空间中，如果$||{\xi }_n-\xi ||\to 0,||{\eta }_n-\eta ||\to 0$，则有

1. $||{\xi }_n||\to ||\xi ||$；
2. $⟨{\xi }_n,{\eta }_n⟩\to ⟨\xi ,\eta ⟩$。

证明：

对1，由三角不等式有
$$||{\xi }_n||\le ||{\xi }_n-\xi ||+||\xi ||,||\xi ||\le ||{\xi }_n-\xi ||+||{\xi }_n||,$$
得到
$$||\xi ||\le \underset{n\to \infty }{\lim }||{\xi }_n||\le ||\xi ||,\underset{n\to \infty }{\lim }||{\xi }_n||=||\xi ||.$$
对2，由柯西不等式有
$$\begin{array}{rl}|⟨{\xi }_n,{\eta }_n⟩-⟨\xi ,\eta ⟩|=& |⟨{\xi }_n,{\eta }_n-\eta ⟩+⟨{\xi }_n-\xi ,\eta ⟩|\\ \le & |⟨{\xi }_n,{\eta }_n-\eta ⟩|+|⟨{\xi }_n-\xi ,\eta ⟩|\\ \le & ||{\xi }_n||\cdot ||{\eta }_n-\eta ||+||{\xi }_n-\xi ||\cdot ||\eta ||\\ \to & 0,n\to \infty .\end{array}$$

这条定理说明，在内积空间中，只要两个向量距离足够近，则它们的长度也足够接近；只要两个向量有收敛的趋势，则它们的内积也有收敛的趋势。

现在可以证明对于平方可和的 { a j } \{a_j\} {aj​}和零均值白噪声 { ε t } ∼ W N ( 0 , σ 2 ) \{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2) {εt​}∼WN(0,σ2)，无穷滑动和$X_t=\sum _{j=-\infty }^{\infty }{a}_j{\epsilon }_{t-j}$是存在的。令${\xi }_n=\sum _{j=-n}^n{a}_j{\epsilon }_{t-j}$，只要证明 { ξ n } \{\xi_n\} {ξn​}是基本列，就能说明${\xi }_n\stackrel{\mathrm{m}.\mathrm{s}.}{⟶}{X}_t$是存在的。不妨设$m<n$，当$m\to \infty$时，
$$\begin{array}{rl}& ||{\xi }_n-{\xi }_m|{|}^2\\ =& ||\sum _{j=m+1}^n{a}_j{\epsilon }_{t-j}+\sum _{j=-n}^{-m-1}{a}_j{\epsilon }_{t-j}|{|}^2\\ =& \mathrm{E}{\left(\sum _{j=m+1}^n{a}_j{\epsilon }_{t-j}+\sum _{j=-n}^{-m-1}{a}_j{\epsilon }_{t-j}\right)}^2\\ =& {\sigma }^2\left[\sum _{j=m+1}^n{a}_j^2+\sum _{j=-n}^{-m-1}{a}_j^2\right]\\ \to & 0.\end{array}$$
这就说明 { ξ n } \{\xi_n\} {ξn​}是基本列，存在极限$\xi$，定义$X_t=\xi$即有${\xi }_n\stackrel{\mathrm{m}.\mathrm{s}.}{⟶}{X}_t$，这就证明了$X_t$是有定义的。接下来利用内积的连续性求$X_t$的均值与自协方差函数。均值有
$$\mathrm{E}{X}_t=⟨X_t,1⟩=\underset{n\to \infty }{\lim }⟨{\xi }_n,1⟩=\underset{n\to \infty }{\lim }\mathrm{E}{\xi }_n=0,$$
自协方差函数有
$$\begin{array}{rl}{\gamma }_k=& \mathrm{E}(X_t{X}_{t+k})\\ =& \underset{n\to \infty }{\lim }⟨\sum _{j=-n}^n{a}_j{\epsilon }_{t-j},\sum _{j=-n}^n{a}_j{\epsilon }_{t+k-j}⟩\\ =& \underset{n\to \infty }{\lim }\mathrm{E}\left[\sum _{j=-n}^n{a}_t{\epsilon }_{t-j}\sum _{j=-n}^n{a}_j{\epsilon }_{t+k-j}\right]\\ =& {\sigma }^2\sum _{j=-\infty }^{\infty }{a}_j{a}_{j+k}.\end{array}$$
这就将无穷滑动和的系数条件放宽到了平方可和。

4.复值随机变量与时间序列

在进行下一步的学习之前，我们需要先对复值时间序列进行了解，先定义复随机变量为$Z=X+\mathrm{i}Y$，这里$X,Y$都是实随机变量。如果$\mathrm{E}X,\mathrm{E}Y$都存在，则称$Z$的数学期望存在，为$\mathrm{E}Z=\mathrm{E}X+\mathrm{i}\mathrm{E}Y$。定义二阶矩为$\mathrm{E}|Z{|}^2=\mathrm{E}{X}^2+\mathrm{E}{Y}^2$，如果$\mathrm{E}|Z{|}^2<\infty$，就称$Z$是二阶矩有限的复值随机变量。

用$H$表示二阶矩有限的复值随机变量全体，$\bar{Y}$表示$Y$的共轭，定义内积为$⟨X,Y⟩=\mathrm{E}(X\bar{Y})$，则$H$是复数域上的Hilbert空间。

按照时间次序排列的复值随机变量 { Z n } \{Z_n\} {Zn​}序列称为复值时间序列，并且如果满足
$$\mathrm{E}{Z}_n=\mu \in \mathbb{C},\mathrm{C}\mathrm{o}\mathrm{v}(Z_n,Z_m)=\mathrm{E}[(Z_n-\mu )(\overline{Z_m-\mu })]={\gamma }_{n-m},$$
则 { Z n } \{Z_n\} {Zn​}称为复值平稳序列， { γ k } \{\gamma_k\} {γk​}是 { Z n } \{Z_n\} {Zn​}的自协方差函数。

同理也可以定义复值零均值白噪声，只需要$\mu =0,{\gamma }_k=\mathrm{E}(Z_n{Z}_{n+k})={\sigma }^2{\delta }_{n-m}$即可。

现在来验证一个重要复值序列：$Y\sim U(-\pi ,\pi ),{\epsilon }_n=e^{\mathrm{i}nY}$。求其均值，有
$$\mathrm{E}{\epsilon }_n={\int }_{-\pi }^{\pi }{e}^{\mathrm{i}ny}\frac{1}{2\pi }\mathrm{d}y=\frac{1}{2\pi }{\int }_{-\pi }^{\pi }\cos (ny)+\mathrm{i}\sin (ny)\mathrm{d}y={\delta }_n.$$
除了在$n=0$处，其他地方都是零均值的。再求其自协方差函数，
$$\begin{array}{r}\mathrm{E}({\epsilon }_n{\bar{\epsilon }}_m)=\frac{1}{2\pi }{\int }_{-\pi }^{\pi }{e}^{\mathrm{i}(n-m)y}\mathrm{d}y={\delta }_{n-m}.\end{array}$$
注意，克罗内克函数的这种表现形式在以后也会经常出现，即$2\pi {\delta }_n={\int }_{-\pi }^{\pi }{e}^{\mathrm{i}nx}\mathrm{d}x$。

回顾总结

1. Hilbert空间指的是完备的内积空间，在时间序列分析中，我们常常取二阶矩存在的实随机变量构成的空间$L^2$作为研究的对象，它就是一个Hilbert空间。
2. $L^2$是一个线性空间，为了将其往内积空间、距离空间扩展，定义两个向量的内积为$⟨X,Y⟩=\mathrm{E}(XY)$，距离为$||X-Y||=\sqrt{⟨X-Y,X-Y⟩}$，因此，在$L^2$定义的收敛性指均方收敛。
3. $L^2$中${\xi }_n\to \xi$指的是$||{\xi }_n-\xi ||\to 0$，类比实数系定义有柯西收敛准则，即基本列必有极限，这里基本列指$n,m\to \infty$时$||{\xi }_n-{\xi }_m||\to 0$。
4. 在内积空间中有内积的连续性，即${\xi }_n\to \xi ,{\eta }_n\to \eta$时，$||{\xi }_n||\to ||\xi ||,⟨{\xi }_n,{\eta }_n⟩\to ⟨\xi ,\eta ⟩$。由此可以证明当 { a j } \{a_j\} {aj​}平方可和时，无穷滑动和在均方收敛意义下有意义，完成了无穷滑动和的扩展。
5. 对于一个具体的平稳过程 { X t } \{X_t\} {Xt​}，用$L^2(X)$表示它的有限线性组合构成的空间，它是$L^2$的子集；用${\bar{L}}^2(X)$表示$L^2$中包括$L^2(X)$的最小子空间，它是Hilbert空间。
6. 复值随机变量$Z=X+\mathrm{i}Y$的期望是$\mathrm{E}X+\mathrm{i}\mathrm{E}Y$，协方差是$\mathrm{E}[(X-{\mu }_X)(\overline{Y-{\mu }_Y})]$。由复值随机变量构成的时间序列称为复值时间序列，类似地，有复值平稳序列与复值白噪声。