时间序列建立图模型（四）

多维非线性时间序列的条件互信息图模型

1.多维非线性时间序列条件互信息图的定义

用顶点表示分量序列，用顶点之间的边表示分量序列间存在的相依联系。设$X_t=(X_{1,t},X_{2,t},...,X_{k,t})(t\in Z)$为一个k维时间序列，表示$X_t$各分量序列之间存在的相依联系的图$G=(V,E)$由顶点集$V=(1,2,...,k)$和边集 E ⊂ { ( a , b ) ∈ V × V } E\subset \left \{ (a,b)\in V\times V \right \} E⊂{(a,b)∈V×V}。此处仅考虑无向图。
令 Y − a b , t = ( X j , t ) ( j ≠ a , b ) , X a = { X a , t } ( t ∈ Z ) , Y − a b = ( Y − a b , t ) ( t ∈ Z ) \boldsymbol{Y}_{-ab}, t=\left(X_{j}, t\right)(j \neq a, b), X_{a}=\left\{X_{a, t}\right\}(t \in \mathbf{Z}),\boldsymbol{Y}_{-ab}=(\boldsymbol{Y}_{-ab}, t)(t \in \mathbf{Z}) Y−ab​,t=(Xj​,t)(j​=a,b),Xa​={Xa,t​}(t∈Z),Y−ab​=(Y−ab​,t)(t∈Z)，考虑检验在给定其他序列${\mathbf{Y}}_{-ab}$的条件下序列$X_a$和$X_b$的条件独立性。由于条件互信息只是一个标量，可以简单考虑条件互信息$I\left(X_{a,t};X_{b,t+u}\mid Y_{-ab}\right),\text{ 其中, }u\in \mathbf{Z}\text{ . }$
定义联系$$\begin{array}{rl}& X_a\perp X_b\left|{\mathbf{Y}}_{-ab}:\iff X_{a,t}\perp X_{b,t+u}\right|{\mathcal{F}}_{-ab}\\ & :\iff I\left(X_{a,t};X_{b,t+u}\mid {\mathbf{Y}}_{-ab}\right)=0,\text{ 对所有 }u\in \mathbf{Z},\end{array}$$
式中，${\mathcal{F}}_{-ab}$表示过程${\mathbf{Y}}_{-ab}$产生的$\sigma$代数。由这个联系可以导出下面条件互信息图的定义。

条件互信息图定义

设$X_t=(X_{1,t},X_{2,t},...,X_{k,t})(t\in Z)$为一个k维时间序列，$V=(1,2,...,k)$是各分量序列对应的顶点集。设$(a,b)\notin E$当且仅当条件$X_a\perp X_b|{\mathbf{Y}}_{-ab}$成立。则称图$G=(V,E)$为条件互信息图。偏不相关关系是条件独立关系的一种线性特例。条件互信息度量数据中所有（包括线性和非线性）的联系，而偏相关关系仅度量线性关系，偏相关图是条件互信息图的一种特例。

2.多维非线性时间序列条件互信息图的Markov性质

对任意向量序列$X_A=(X_a,t)(a\in A,t\in Z)$可以用相同的方式定义联系$\perp$,特别有:
$$\begin{array}{rl}& X_a\perp X_b\perp X_c:\iff X_{A,t}\perp X_{B,t+u}|{\mathcal{F}}_C=0\\ & :\iff I\left(X_{A,t};X_{B,t+u}\mid {\mathcal{F}}_C\right)=0,\text{ 对所有 }u\in \mathbf{Z},\end{array}$$
$u\in Z,A,B,C\subset V$为不交子集。

引理9 设$X_t=(X_a,t)(a\in V)$为一个多维严平稳时间序列，有${\mathbf{X}}_A=(X_a,t)(a\in V,t\in \mathbf{Z})$,${\mathbf{X}}_B,{\mathbf{X}}_C,{\mathbf{X}}_D$为其子序列，其中$A,B,C,D\subset V$为不交子集，则

• 如果$X_A\perp (X_B,X_C)|X_D$,那么$X_A\perp X_B|X_D$;
• $X_A\perp (X_B,X_C)|X_D$,当且仅当$X_A\perp X_B|(X_C,X_D)$和$X_A\perp X_C|(X_B,X_D)$

条件互信息图的分离定理

对于$A,B,S\subset V$,如果从$A$中任意元素到$B$中任意元素的每条路都至少包含分离集$S$中的一个顶点，则称$S$分离$A$和$B$.

定理10 设${\mathbf{X}}_t$是一个多维严平稳时间序列，且满足可测分离条件，图$G=(V,E)$是${\mathbf{X}}_t$的条件互信息图。令$A,B,S\subset V$，其中$S$分离$A$和$B$，则
$$X_A\perp X_B|X_S$$

2.多维非线性时间序列分量序列的条件独立性检验

在给定${\mathbf{Y}}_{-ab}$的条件下，$X_{a,t}$和${}_{b,t+u}$条件独立等价于：
$${\delta }_{ab}(u)=1-exp[-I(X_{a,t},X_{b,t+u}|{\mathbf{Y}}_{-ab})]=0$$
在实际应用中，对于${\mathbf{Y}}_{-ab}$常同时考虑有限个滞后变量，如$I(X_{a,t},X_{b,t+u}|{\mathbf{Y}}_{-ab}^L)$。对于之后阶数 u ∈ { − M , . . . , − 1 , 0 , 1 , . . . , M } u\in \left \{ -M,...,-1,0,1,...,M \right \} u∈{−M,...,−1,0,1,...,M}:
当$u\ge 0,{\mathbf{Y}}_{-ab}^L=({\mathbf{Y}}_{-ab,t-L},{\mathbf{Y}}_{-ab,t-L+1},...,{\mathbf{Y}}_{ab,t+u+L})$
当$u<0,{\mathbf{Y}}_{-ab}^L=({\mathbf{Y}}_{ab,t+u-L},{\mathbf{Y}}_{ab,t+u-L+1},...,{\mathbf{Y}}_{ab,t+L})$
其中，常数$L$和$M$为事先确定的固定正整数，用于选择滞后集。
因此，时间序列之间条件独立性的度量为$$D_{ab}=\sum _{u=-M}^M{\delta }_{ab}(u)$$
$${\delta }_{ab}(u)=1-exp[-I(X_{a,t},X_{b,t+u}|{\mathbf{Y}}_{-ab})]$$
在给定${\mathbf{Y}}_{-ab}^L$的条件下，$X_{a,t}$和$X_{b,t+u}$之间的2阶条件互信息为：
$$I_2(X_{a,t};X_{b,t+u}|{\mathbf{Y}}_{-ab}^L)=H_2(X_{a,t},X_{b,t+u}|{\mathbf{Y}}_{-ab}^L)+H_2(X_{a,t},{\mathbf{Y}}_{-ab}^L)-H_2(X_{b,t+u},{\mathbf{Y}}_{-ab}^L)-H_2({\mathbf{Y}}_{-ab}^L)$$
令$C^U,C_{ab}^u,C_a^u,C_b^u$分别为关联积分$$C({\mathbf{Y}}_{-ab}^L;\epsilon ),C(X_{a,t},X_{b,t+u},{\mathbf{Y}}_{-ab}^L;\epsilon ),C(X_{a,t},{\mathbf{Y}}_{-ab}^L;\epsilon ),C(X_{b,t+u},{\mathbf{Y}}_{-ab}^L;\epsilon )$$的简写形式，则
$${\hat{\delta }}_{ab}(u)=1-exp[-{\hat{I}}_2(X_{a,t},X_{b,t+u}|{\mathbf{Y}}_{-ab}^L)]=1-\frac{{\hat{C}}_a^u{\hat{C}}_b^u}{{\hat{C}}^u{\hat{C}}_{ab}^u}$$
因此有${\hat{D}}_{ab}={\sum }_{u=-M}^M{\hat{\delta }}_{ab}(u)$

定理11 估计${\hat{\delta }}_{ab}(u)$和${\hat{D}}_{ab}$分别是${\delta }_{ab}(u),D_{ab}$的相合估计，即当样本量$n\to \infty$时，有${\hat{\delta }}_{ab}(u)\stackrel{P}{\to }{\delta }_{ab}(u),{\hat{D}}_{ab}\stackrel{P}{\to }{D}_{ab}$，其中$\stackrel{P}{\to }$表示依概率收敛。

定理12 在$X_t=(X_{1,t},X_{2,t},...,X_{k,t})(t\in Z)$为独立同分布时间序列的假设下，当样本量$n\to \infty$时，${\hat{\delta }}_{ab}(u)$的渐近分布为$n^{1/2}{\hat{\delta }}_{ab}(u)\stackrel{d}{\to }N(0,{\sigma }_{ab}^n(u))$。式中，$\stackrel{d}{\to }$表示依分布收敛。

定理13 在$X_t=(X_{1,t},X_{2,t},...,X_{k,t})(t\in Z)$为独立同分布时间序列的假设下，当样本量$n\to \infty$时,${\hat{D}}_{ab}(u)$的渐近分布为$n^{1/2}{\hat{D}}_{ab}(u)\stackrel{d}{\to }N(0,{\sigma }_{ab}^n)$。式中，$\stackrel{d}{\to }$表示依分布收敛。

基于条件互信息统计量检验分量序列之间条件独立性的具体步骤如下：
1.对初始样本序列$x_1,x_2,...,x_n$，计算统计量取值${\hat{D}}_{ab}$.
2.从$x_1,x_2,...,x_n$产生置换样本${\tilde{x}}_1=({\tilde{x}}_{1,t},{\tilde{x}}_{2,t},...,{\tilde{x}}_{k,t})$
3.计算${\tilde{x}}_{1,t},{\tilde{x}}_{2,t},...,{\tilde{x}}_{k,t}$的检验统计量取值，记为$D{\sim }_{ab}$.
4.步骤2-3重复B次，用B表示得到的置换样本个数。
5.计算检验的单边显著性概率
$${\hat{p}}_{ab}=\frac{1+♯[{\tilde{D}}_{ab}\ge {\hat{D}}_{ab}]}{1+B}$$,式中，$♯[{\tilde{D}}_{ab}\ge {\hat{D}}_{ab}]$表示根据B个置换样本计算的${\tilde{D}}_{ab}$中大于${\hat{D}}_{ab}$的个数。
6.如果${\hat{p}}_{ab}\le \alpha$，则拒绝分类序列$X_a$和$X_b$之间的条件独立性的原假设，其中$\alpha$表示选定的显著性水平。
条件互信息图G可以按下式建立：
${\hat{p}}_{ab}\le \alpha \Rightarrow (a,b)\in E,a,b\in V,a\ne b$