互信息与条件互信息

互信息

定义

两个离散随机变量

$(X,Y)\sim p(x,y)$，一对离散随机变量，互信息：$$\begin{array}{rl}I(X;Y)& =\sum _{(x,y)\in \mathcal{X}\times \mathcal{Y}}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}\\ & \\ & =H(X)-H(X\mid Y)\\ & \\ & =H(Y)-H(Y\mid X)\\ & \\ & =H(X)+H(Y)-H(X,Y)\end{array}$$

两个连续随机变量

$(X,Y)\sim f(x,y)$，一对连续随机变量，互信息：$$\begin{array}{rl}I(X;Y)& =\int f(x,y)\log \frac{f(x,y)}{f(x)f(y)}dxdy\\ & \\ & =h(X)-h(X\mid Y)\\ & \\ & =h(Y)-h(Y\mid X)\\ & \\ & =h(X)+h(Y)-h(X,Y)\end{array}$$

一个离散，一个连续

$X\sim p(x)$， Y ∣ { X = x } ∼ f ( y ∣ x ) Y|\{X=x\}\sim f(y|x) Y∣{X=x}∼f(y∣x)，互信息：$$I(X;Y)=h(Y)-h(Y\mid X)=H(X)-H(X\mid Y)$$

条件互信息

定义

连续变量

( X , Y ) ∣ { Z = z } ∼ F ( x , y ∣ z ) (X,Y)|\{Z=z\}\sim F(x,y|z) (X,Y)∣{Z=z}∼F(x,y∣z)，$Z\sim F(z)$，互信息：$$I(X;Y\mid Z)=\int I(X;Y\mid Z=z)dF(z)$$

离散变量

$(X,Y,Z)\sim p(x,y,z)$，互信息：$$\begin{array}{rl}I(X;Y\mid Z)& =H(X\mid Z)-H(X\mid Y,Z)\\ & \\ & =H(Y\mid Z)-H(Y\mid X,Z)\\ & \\ & =H(X\mid Z)+H(Y\mid Z)-H(X,Y\mid Z)\end{array}$$ $$I(X;Y\mid Z)=E_{p(x,y,z)}\log \frac{p(X,Y\mid Z)}{p(X\mid Z)p(Y\mid Z)}$$

例子

一个例子，及其互信息公式的推导：
$X\sim P_X(x)$与$S_R$没关系，是相互独立的，$Y$则是同时受到$X,S_R$的影响。
互信息：$$\mathcal{I}\left(P_X;P_{Y\mid X}\right)=\sum _x\sum _y{P}_X(x)P_{Y\mid X}(y\mid x)\log \frac{P_{XY}(x,y)}{P_X(x)P_Y(y)}$$ $$\mathcal{I}\left(P_X;P_{Y\mid X}\right)=\sum _x\sum _y{P}_X(x)P_{Y\mid X}(y\mid x)\log \frac{P_{X\mid Y}(x\mid y)}{P_X(x)}$$

条件互信息：$$\mathcal{I}\left(P_X;P_{Y\mid X{S}_R}\mid P_{S_R}\right)=\sum _{s_R}{P}_{S_R}\left(s_R\right)\sum _x\sum _y{P}_X(x)P_{Y\mid X{S}_R}\left(y\mid x{s}_R\right)\log \frac{P_{XY|S_R}\left(x,y|s_R\right)}{P_{X|S_R}(x|s_R)P_{Y|S_R}(y|s_R)}$$ $$\mathcal{I}\left(P_X;P_{Y\mid X{S}_R}\mid P_{S_R}\right)=\sum _{s_R}{P}_{S_R}\left(s_R\right)\sum _x\sum _y{P}_X(x)P_{Y\mid X{S}_R}\left(y\mid x{s}_R\right)\log \frac{P_{XY{S}_R}\left(x,y,s_R\right)}{P_{X|S_R}(x|s_R)P_{Y{S}_R}(y,s_R)}$$ $$\mathcal{I}\left(P_X;P_{Y\mid X{S}_R}\mid P_{S_R}\right)=\sum _{s_R}{P}_{S_R}\left(s_R\right)\sum _x\sum _y{P}_X(x)P_{Y\mid X{S}_R}\left(y\mid x{s}_R\right)\log \frac{P_{X\mid Y{S}_R}\left(x\mid y{s}_R\right)}{P_X(x)}$$