时间序列建立图模型（一）

由时间序列建立图模型，首先要检验顶点表示的变量（或序列）之间的各种相依联系，即对时间序列做独立性检验。
目前信息论中的熵度量方法由于能够捕捉时间序列中的相依联系，且不需要对数据产生过程进行严格的参数假设，因此成为研究热点。

1.Shannon熵和互信息

设连续型随机变量$\mathbf{X}$,，其概率密度函数为$f_X(x)$，Shannon定义连续型随机变量的熵为$$H(X)=-\int \left[\ln f_X(x)\right]f_X(x)d_x$$
此概念可以推广到多个连续型随机变量的情况，以两个随机变量$\mathbf{X}$和$\mathbf{Y}$的情况为例，设其概率密度函数分别为$f_X(x)$和$f_Y(y)$，联合概率密度函数为$f_{X,Y}(x,y)$，条件概率密度函数分别为$f_{X|Y}(x|y)$和$f_{Y|X}(y|x)$，则$\mathbf{X}$和$\mathbf{Y}$的联合熵定义为$$H(X,Y)=-\iint [\ln f_{X,Y}(x,y)]f_{X,Y}(x,y)d_x{d}_y$$
$\mathbf{X}$和$\mathbf{Y}$的条件熵定义为$$H(X|Y)=-\iint [\ln f_{X|Y}(x|y)]f_{X,Y}(x,y)d_x{d}_y$$
容易推出$$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$$
随机变量$\mathbf{X}$和$\mathbf{Y}$的互信息为$$I(X;Y)=\iint [\ln \frac{f_{X,Y}(x,y)}{f_X(x)f_Y(y)}]f_{X,Y}(x,y)d_x{d}_y$$
随机变量的互信息表示了随机变量之间相互提供的信息量，故有$$I(X;Y)=I(Y;X)$$
互信息还可以表示随机变量间的统计依存程度。
由前式可以推出$$I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)$$
当随机变量$\mathbf{X}$和$\mathbf{Y}$相互独立时，有$f_{X,Y}(x,y)$=$f_X(x)f_Y(y)$，于是$$H(X,Y)=H(X)+H(Y)$$以及$$I(X;Y)=0$$

2.两组多维随机向量之间的互信息和条件互信息

考虑随机变量$\mathbf{X}$和二维随机向量$(\mathbf{Y},\mathbf{Z})$之间的互信息，设这三个随机变量的概率密度函数分别为$f_X(x)$,$f_Y(y)$,$f_Z(z)$。则$\mathbf{X}$和二维随机向量$(\mathbf{Y},\mathbf{Z})$之间的互信息为$$I(X;Y,Z)=H(X)-H(X|Y,Z)=H(Y,Z)-H(Y,Z|X)$$以及$$I(X;Y,Z)=H(X)+H(Y,Z)-H(X,Y,Z)$$
联合互信息$I(X;Y,Z)$表示随机变量$\mathbf{X}$和二维随机向量$(\mathbf{Y},\mathbf{Z})$之间相互可能提供的信息量，即表示随机变量$\mathbf{X}$和二维随机向量$(\mathbf{Y},\mathbf{Z})$之间统计依存程度。
在已知随机变量$Z$的条件下，随机变量$X$和$Y$之间的条件互信息定义为
$$I(X;Y|Z)=\iiint [\ln \frac{f_{X,Y|Z}(x,y|z)}{f_{X|Z}(x|z)f_{Y|Z}(y|z)}]f_{X,Y,Z}(x,y,z)d_x{d}_y{d}_z$$
则：$$I(X;Y|Z)=H(X|Z)-H(X|Y,Z)=H(Y|Z)-H(Y|X,Z)=H(X|Z)+H(Y|Z)-H(X,Y|Z)=H(X,Z)+H(Y,Z)-H(X,Y,Z)=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)$$
可以证明，条件互信息是非负的。
利用条件互信息把联合互信息做如下展开：$$I(X;Y|Z)=H(X|Z)-H(X|Y,Z)=H(X)-H(X|Y)+H(X|Y)-H(X|Y,Z)=I(X;Y)+I(X;Z|Y)$$
表示二维随机向量$(\mathbf{Y},\mathbf{Z})$所提供的关于随机变量$\mathbf{X}$的信息量等于随机变量$\mathbf{Y}$所提供的关于$\mathbf{X}$的信息量加上在已知$\mathbf{Y}$的条件下随机变量$\mathbf{Z}$所提供的关于$\mathbf{X}$的信息量。
在给定随机变量$\mathbf{Z}$的条件下，当随机变量$\mathbf{X}$和$\mathbf{Y}$条件独立是，有$f_{X,Y|Z}(x,y|z)=f_{X|Z}(x|z)f_{Y|Z}(y|z)$,所以，$I(X;Y|Z)=0$。

3.广义熵，广义互信息和广义条件互信息

Renyi熵可以得到一个更广义的度量。设随机变量$\mathbf{X}$，其概率密度函数为$f_X(x)$,则$\mathbf{X}$的q阶Renyi熵定义为：
$$H_q(X)=-\frac{1}{q-1}\ln \int [f_X(x){]}^{q-1}{f}_X(x)d_x$$
当$q\to 1$时，就是Shannon熵。
随机变量$\mathbf{X}$和$\mathbf{Y}$的q阶互信息定义为$$I_q(X;Y)=H_q(X)+H_q(Y)-H_q(X,Y)=-\frac{1}{q-1}\ln \frac{\int [f_X(x){]}^{q-1}{f}_X(x)d_x\int [f_Y(y){]}^{q-1}{f}_Y(y)d_y}{\iint [f_{X,Y}(x,y){]}^{q-1}{f}_{X,Y}(x,y)d_x{d}_y}$$
q阶条件互信息用于度量给定$\mathbf{Z}$中包含的关于$\mathbf{X}$的信息的条件下，$\mathbf{Y}$中包含的关于$\mathbf{X}$的信息。
$$I_q(X;Y|Z)=I_q(X;Y,Z)-I_q(X;Z)=-H_q(X,Y,Z)+H_q(X,Z)+H_q(Y,Z)-H_q(Z)=-\frac{1}{q-1}\ln \frac{\iint [f_{X,Z}(x,z){]}^{q-1}{f}_{X,Z}(x,z)d_x{d}_z\iint [f_{Y,Z}(y,Z){]}^{q-1}{f}_{Y,Z}(y,z)d_y{d}_z}{\iiint [f_{X,Y,Z}(x,y,z){]}^{q-1}{f}_{X,Y,Z}(x,y,z)d_x{d}_y{d}_z\int [f_Z(z){]}^{q-1}{f}_Z(z)d_z}$$

4.线性熵，线性互信息和线性条件互信息

设$X=(X_1,X_2,...,X_n)$是均值向量为0，协方差矩阵为$\Sigma$的n维高斯分布向量，其概率密度函数为：$$f(x)=\frac{|W{|}^{\frac{1}{2}}}{(2\pi {)}^{\frac{2}{n}}}exp(-1/2\sum _{i,j=1}^n{W}_{i,j}{x}_i{y}_j)$$
式中，$W={\Sigma }^{-1}$,$|W|$为矩阵$W$的行列式。
可以推出，线性Shann熵为$$H_1^l(X)=\ln [\frac{(2\pi {)}^{1/2}}{|W{|}^{\frac{1}{2}}}]+\frac{1}{2}\int (\sum _{i,j=1}^n{W}_{ij}{x}_i{x}_j)f(x)d_x=\frac{n}{2}\ln (2\pi )+\frac{1}{2}\ln |\Sigma |$$
定义q阶广义线性熵$$H_q^l(X)=\frac{1}{1-q}\ln [\frac{|W{|}^{\frac{q}{2}}}{(2\pi {)}^{qn/2}}\int exp(-\frac{q}{2}\sum _{i,j=1}^n{W}_{ij}{x}_i{x}_j)d_x]$$
利用$|qW|=q^n|W|$可得：
$$H_q^l(X)=\frac{1}{1-q}\ln [\frac{|W{|}^{\frac{q-1}{2}}}{(2\pi {)}^{(q-1)n/2}}]=\frac{n}{2}\ln (2\pi )+\frac{1}{2}\ln |\Sigma |+\frac{n\ln q}{2(q-1)}$$
随机变量$\mathbf{X}$和$\mathbf{Y}$的q阶线性互信息$I^l(X;Y)$定义为：$$I_q^l(X;Y)=H_q^l(X)+H_q^l(Y)-H_q^l(X,Y)$$
在已知随机变量$\mathbf{Z}$的条件下，$\mathbf{X}$和$\mathbf{Y}$之间的q阶线性条件互信息$I^l(X;Y|Z)$定义为：$$I_q^l(X;Y|Z)=H_q^l(X,Z)+H_q^l(Y,Z)-H_q^l(X,Y,Z)-H_q^l(Z)=\frac{1}{2}\ln \frac{|{\Sigma }_{XZ}||{\Sigma }_{YZ}|}{|{\Sigma }_{XYZ}||{\Sigma }_Z|}$$
其中$|{\Sigma }_{XYZ}|$,$|{\Sigma }_{XZ}|$,$|{\Sigma }_{YZ}|$和$|{\Sigma }_Z|$分别表示$(X,Y,Z)$,$(X,Z)$,$(Y,Z)$,$Z$的协方差矩阵或方差。
根据定义，线性熵、线性互信息和线性条件互信息只能度量随机变量之间的线性相关关系。