时间序列建立图模型（三）

多维时间序列图模型涉及时间序列之间复杂的直接和间接相依联系，因此成对的独立性检验不能满足要求，用于度量条件独立性更合适的统计量是条件互信息。
本节主要介绍检验非线性时间序列相依联系的条件互信息统计量及其性质。
前面主要介绍理论，具体方法直接下拉到最后。

1.非线性时间序列相依联系的条件互信息检验方法

要建立观测数据的图模型，一个重要步骤是检验图中的边所表示的独立性。要利用时间序列图模型对数据进行分析，需要先建立当前变量$X_t$对滞后变量$X_{t-1},X_{t-2},...,X_{t-p},{\epsilon }_{t-1},{\epsilon }_{t-2},...,{\epsilon }_{t-q}$的回归模型。因袭在时间序列分析中，变量的选择问题就是如何选择合适的滞后变量以引入模型。
基于Shannon熵构造的用于度量时间序列相依联系的互信息统计量需要对概率密度函数进行估计，计算过程比较繁琐。此处涉及的基于信息论方法的检验均假设出现的概率密度函数都是平方可积的，并且假设时间序列都是严平稳的，即任意有限维联合分布函数不随时间平移而改变。

2.广义条件互信息度量的性质和估计

考虑三个随机变量X、Y、Z之间的联系，以q阶条件互信息$I_q(X;Y|Z)$为例研究广义条件互信息度量的性质和估计。作为$I_q(X;Y|Z)$的特殊情形，容易推出这些性质对于互信息$I(X,Y)$也成立。
定理1$$I(X;Y|Z)=\iiint [\ln \frac{f_{X,Y|Z}(x,y|z)}{f_{X|Z}(x|z)f_{Y|Z}(y|z)}]f_{X,Y,Z}(x,y,z)d_x{d}_y{d}_z$$满足性质$I(X;Y|Z)=0$当且仅当在给定Z的条件下随机变量X和Y是条件独立的。

定理2 q阶条件互信息$I_q(X;Y|Z)$在连续可导的一一映射下是不变的。
证明，假设一一变换$h_1,h_2,h_3$连续可导。令$X^{\ast }=h_1(X),Y^{\ast }=h_2(Y),Z^{\ast }=h_3(Z)$，用$g,g_{13},g_{23},g_3$分别表示$(X^{\ast }，Y^{\ast }，Z^{\ast })$的联合概率密度函数，$(X^{\ast }，Z^{\ast })$的边缘概率密度函数，$(Y^{\ast }，Z^{\ast })$的边缘概率密度函数和$Z^{\ast }$的概率密度函数。则：

定理3 设k维正态分布随机向量$X=(X_1,X_2,...,X_k)$的均值向量为$\mu$，协方差矩阵为$\Sigma$。令$\mathbf{W}={\mathbf{\Sigma }}^{-1},{\tau }_{ij}=-\frac{w_{ij}}{\sqrt{w_{ii}{w}_{jj}}}$,其中$w_{ii},w_{jj},w_{ij}$是$W$中的元素。则：
I q ( X i , X j ∣ X \ { X i , X j } ) = − 1 2 ln ⁡ ( 1 − τ i j 2 ) I_{q}\left(X_{i}, X_{j} \mid \boldsymbol{X} \backslash\left\{X_{i}, X_{j}\right\}\right)=-\frac{1}{2} \ln \left(1-\tau_{i j}^{2}\right) Iq​(Xi​,Xj​∣X\{Xi​,Xj​})=−21​ln(1−τij2​)

由定理1可知，q=1阶条件互信息$I(X;Y|Z)$是条件独立性的一个无界的度量，这里定义互信息的一个变换 G ( X , Y ) = 1 − e x p { − I ( X ; Y ) } G(X,Y)=1-exp\left \{ -I(X;Y) \right \} G(X,Y)=1−exp{−I(X;Y)}.同理，定义条件互信息统计量的一个变换 T ( X ; Y ∣ Z ) = 1 − e x p { − I ( X ; Y ∣ Z ) } T(X;Y|Z)=1-exp\left \{ -I(X;Y|Z) \right \} T(X;Y∣Z)=1−exp{−I(X;Y∣Z)}.
以下推导$G(X,Y)、T(X;Y|Z)$的估计。
首先看随机向量关联积分的估计。m维随机向量$X=(X_1,X_2,...,X_m)$的2阶关联积分为$$C(\mathbf{X};\epsilon )=\iint I_{(\Vert s-t\mid ⩽\epsilon )}{f}_X(\mathbf{s})f_X(\mathbf{t})\mathrm{d}\mathbf{s}\mathrm{d}\mathbf{t}$$
式中，$I(.)$表示取值为0或1的示性函数。$\Vert X\Vert ={\sup }_{i=1,2,..,m}\left|X_i\right|$,参数$\epsilon$为尺度参数。
示性函数的期望可以直接由U统计量进行估计，设得到X的n个观测样本，记为$x^{(1)},x^{(2)},...,x^{(n)}$,则
$$\hat{C}(\mathbf{X};\epsilon )=\frac{2}{n(n-1)}\sum _{i=1}^{n-1}\sum _{j=i+1}^n{I}_{\left(\Vert x^{(i)}-x^{(j)}\Vert ⩽\epsilon \right)}$$
接下来用关联积分估计随机变量的条件互信息，随机变量X的q=2阶Renyi熵为$H_2(X)=-\ln \int f_X^2(x)\mathrm{d}x$.
随机变量X的q=2阶Renyi熵和关联积分$C(\mathbf{X};\epsilon )$有如下联系，
$$H_2(X)\simeq -\ln C(\mathbf{X};\epsilon )+m\ln \epsilon$$
对于基于2阶互信息构造的统计量的估计，为方便起见，这里仍用$\hat{G}(X,Y)、\hat{T}(X;Y|Z)$分别表示互信息和条件互信息的估计如下：

选择q=2阶条件互信息的优点是，对观测值计算Renyi熵的时候比较简单，可以用关联积分来进行计算。但问题在于，$I_2(X;Y|Z)$可能是负的，且$I_2(X;Y|Z)=0$不一定意味着在给定Z的条件下X和Y是条件独立的。实际上，$I_2(X;Y|Z)$的行为和$I_1(X;Y|Z)$的行为非常类似。数值模拟结果也验证了在检验条件独立性时，基于$I_2(X;Y|Z)$构造的统计量和基于$I_1(X;Y|Z)$构造的统计量具有相同的结果。

3.非线性时间序列相依联系的条件互信息检验

设得到严平稳时间序列 { X t , t ∈ Z } \left \{ X_{t},t\in Z \right \} {Xt​,t∈Z}的n个观测值 { x t } t = 1 n \left \{ x_{t} \right \}_{t=1}^{n} {xt​}t=1n​,定义M维延迟向量$X_t^M=(X_{t-1},X_{t-2},...,X_{t-M})$，其中M为事先确定的正整数。
令$X_t^{-j}=(X_{t-1},X_{t-2},..,X_{t-j+1},X_{t-j-1},.,X_{t-M})$表示$X_t^M$中除$X_{t-j}$外所有的其他变量组成的向量，检验在$X_t^{-j}$的条件下，$X_t$和$X_{t-j}$的条件独立性的原假设和备择假设如下：
$H_0$:在给定$X_t^{-j}$的条件下，$X_t$和$X_{t-j}$是条件独立的。
$H_1$:在给定$X_t^{-j}$的条件下，$X_t$和$X_{t-j}$是条件相依的。
由定理1可知，$X_t$和$X_{t-j}$之间条件独立性的度量为$T_j(X_t;X_{t-j}|X_t^{-j})=1-exp\left\{-I(X_t;X_{t-j}|X_t^{-j})\right\}$利用$T_j(X_t;X_{t-j}|X_t^{-j})$ 作为条件独立性度量可以捕捉在给定时间序列中间值条件下的相依联系，同时提供时间序列相依联系的滞后阶数信息。
用2阶关联积分估计$T_j(X_t;X_{t-j}|X_t^{-j})$，在给定$X_t^{-j}$的条件下，$X_t$和$X_{t-j}$的互信息为
$$\begin{array}{rl}{I}_2\left(X_i;X_{t-j}\mid {\mathbf{X}}_t^{-j}\right)=& H_2\left(X_i,X_{t-j},{\mathbf{X}}_t^{-j}\right)+H_2\left(X_t,{\mathbf{X}}_t^{-j}\right)-\\ & H_2\left(X_{t-j},{\mathbf{X}}_t^{-j}\right)-H_2\left({\mathbf{X}}_t^{-j}\right)\end{array}$$
令$C_{}^j(\epsilon ),C_3^j(\epsilon ),C_{21}^j(\epsilon ),C_{22}^j(\epsilon )$分别表示关联积分$C(X_t^{-j};\epsilon ),C(X_t,X_{t-j},X_t^{-j};\epsilon ),C(X_t,X_t^{-j};\epsilon ),C(X_{t-j},X_t^{-j};\epsilon )$的简写形式，则$T_j$的估计为
$${\hat{T}}_j(\epsilon )=1-\frac{{\hat{C}}_{21}^j(\epsilon ){\hat{C}}_{22}^j(\epsilon )}{{\hat{C}}_3^j(\epsilon ){\hat{C}}^j(\epsilon )}$$
由U统计量的相合性可以得到${\hat{T}}_j(\epsilon )$的相合性。

定理4估计${\hat{T}}_j(\epsilon )$是$T_j$的相合估计，即当$n⟶\infty$时，有${\hat{T}}_j(\epsilon )\stackrel{p}{\to }{T}_j$,其中$\stackrel{p}{\to }$表示依概率收敛。

引理5 令$h:{\mathbf{R}}^m\to \mathbf{R}$为一个非退化的核函数，令 { X n , n ∈ Z } \left \{ X_{n},n\in Z\right \} {Xn​,n∈Z}为一个严平稳随机过程，如果满足下面的条件之一，则$(n/m{\sigma }_n)(U_n(h)-\theta )$的渐近分布为标准正态分布：

• $(X_n{)}_{n\ge 1}$在两个时间方向上是均匀混合的，${\sigma }_n^2\to \infty$，对于$\alpha >0$,下式成立：$$\underset{1⩽t_1<t_2<\cdots {<}_m}{\sup }E\left[{\left|h\left(X_{t_1},X_{t_2},\cdots ,X_{t_m}\right)\right|}^{2+\alpha }\right]<\infty$$
• $(X_n{)}_{n\ge 1}$在两个时间方向上是均匀混合的，混合系数$\phi (n)$满足以下条件：$$\sum \beta (n{)}^{\alpha /(2+\alpha )}<\infty$$且$$\underset{1⩽t_1<t_2<\cdots {<}_m}{\sup }E\left[{\left|h\left(X_{t_1},X_{t_2},\cdots ,X_{t_m}\right)\right|}^{2+\alpha }\right]<\infty$$
  式中，$\theta =\int \cdots \int h\left(x_1,x_2,\cdots ,x_m\right){\prod }_{i=1}^m\mathrm{d}F\left(x_i\right)$,${\sigma }_n^2,{\sigma }^2$表示$U_n(h)$的分解中第1项的方差和渐进方差。

定理6 在独立同分布过程的原假设下，当样本量$n\to \infty$时，${\hat{T}}_j$的渐进分布为$$n^{1/2}{\hat{T}}_j(\epsilon )\stackrel{d}{\to }N\left(0,{\sigma }_T^2(\epsilon )\right)$$
式中，$\stackrel{d}{\to }$表示依分布收敛。$\epsilon$是固定的，在实际应用中要注意$\epsilon$的选择。估计的精度随$\epsilon$的减小而减小。一般选择$\epsilon =0.5{\sigma }_X,\epsilon =1.0{\sigma }_X,\epsilon =1.5{\sigma }_X$.${\sigma }_X$是随机过程的标准差。

在给定$X_t^{-j}$的条件下，检验$X_t$和$X_{t-j}$条件独立性的具体步骤如下：
1.对于选定的显著性水平和初始样本 { x t } t = 1 n \left \{ x_{t} \right \}_{t=1}^{n} {xt​}t=1n​,首先根据估计的残差，衬衫独立同分布随机变量序列 { x ~ t } t = 1 n \left \{ \tilde{x} _{t} \right \}_{t=1}^{n} {x~t​}t=1n​，并计算统计量取值$T_j(X_t;X_{t-j}|X_t^{-j})$.
2.步骤1重复B次，得到B组初始样本，并分别计算统计量取值${\tilde{T}}_j^1,{\tilde{T}}_j^2,...,{\tilde{T}}_j^B$.
3.利用经验分布${\hat{F}}_B(x)=B^{-1}{\sum }_{l=1}^{B}I({\tilde{T}}_j^l\le x)$作为$T_j$在原假设成立下的分布的近似，计算临界值$C_a$，即${\hat{F}}_B(x)$的1-a分位数，其中，a为选定的显著性水平。
4.计算初始样本的统计量取值${\hat{T}}_j(X_t;X_{t-j}|X_t^{-j})$
5.如果${\hat{T}}_j(X_t;X_{t-j}|X_t^{-j})>C_a$,则拒绝$X_t$和$X_{t-j}$之间条件独立性的原假设。