信息论基础学习笔记（一）——随机变量的信息度量

1.1自信息

  信源，指的是消息的来源。若信源输出的消息是以取值离散的符号形式出现，其不同符号数是有限个，或为可列无限个，则此信源称为离散信源。若输出的消息的取值是连续的，则称其为连续信源。按输出符号之间的依赖关系，也可将信源分为无记忆信源和有记忆信源。

  离散信源通常用随机变量$X$表示，$X$的可能取值，即信源的可能输出的不同符号用集合$\chi$表示。如若将抛硬币这一随机试验看做一个信源的话，其取值集合即为 χ = { 正 ， 反 } \chi=\{正，反\} χ={正，反}。

  要解决信息的度量问题，我们将信源发出某个信号$x_0\in \chi$后所提供的信息量的多少定义为$x_0$的自信息，记为$I(x_0)$。自信息度量的是信号$x_0$的不确定性（发生的可能性）。如果用概率$p(x_0)$表示$x_0$发生的概率，则$I(x_0)$应该为$p(x_0)$的一个函数，且满足如下公理：

1. 非负：$I(x_0)\ge 0.$
2. 如$p(x)=0$，则$I(x)\to \infty .$
3. 如$p(x)=1$，则$I(x)=0.$
4. 严格单调性：如果$p(x)>p(y)$，则$I(x)<I(y).$
5. 如果$p(x,y)=p(x)p(y)$，则$I(x,y)=I(x)+I(y).$

  若自信息$I(x)$满足上述公理，则$$I(x)=clog\frac{1}{p(x)}$$其中$c$为常数。

  定义：若$x\in \chi$有概率$p(x)$，则$x$的自信息为$I(x)=log\frac{1}{p(x)}$

---

1.2 熵、联合熵、条件熵

1.2.1 熵

  如果用随机变量代表一个信源，则熵为其平均不确定性的度量。

  设随机变量$X$的概率分布函数为 p ( x ) = P r { X = x } , x ∈ χ p(x)=P_r\{X=x\},x\in\chi p(x)=Pr​{X=x},x∈χ，$p(x)$和$p(y)$（或$P_X(x)$和$P_Y(y)$）分别表示随机变量$X$和$Y$的概率分布函数。则离散随机变量$X$的熵定义为$$H(X)=-\sum _{x\in \chi }p(x)logp(x)$$
针对对数函数不同的底，熵有如下不同的单位：

1. 底为$2$ $\to$ 比特$(bit)$.
2. 底为$e$ $\to$ 奈特$(nat)$.
3. 底为$10$ $\to$ 哈特$(hartley)$.

注：熵仅为概率分布的函数，与$X$的取值并无关系.

  若用$E_p$表示概率分布$p$的期望，$$E_{p}g(X)=\sum _{x\in \chi }g(x)p(x)$$则熵可表示为随机变量$log\frac{1}{p(x)}$的期望，$$H(X)=E_{p}log\frac{1}{p(x)}$$由此可见，熵是自信息的概率加权平均值。

熵的性质如下：

1. $H(X)\ge 0$，当且仅当$X$有退化分布*时等号成立.（*退化分布指的是$P(X=c)=1$）

1.2.2 联合熵

设一对随机变量$(X,Y)$的联合分布为 p ( x , y ) = P r { X = x , Y = y } , x ∈ X , y ∈ Y p(x,y)=Pr\{X=x,Y=y\},x\in\mathcal{X},y\in\mathcal{Y} p(x,y)=Pr{X=x,Y=y},x∈X,y∈Y则定义$(x,y)$的联合熵$H(X,Y)$为$$H(X,Y)=-\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x,y)logp(x,y)$$或以期望形式$$H(X,Y)=-Elogp(X,Y)$$
联合熵的概念可进一步推广至$n$维随机变量。设$n$维随机向量$(X_1,X_2,...,X_n)$的联合分布为 p ( x 1 , x 2 , . . . , x n ) = P r { X 1 = x 1 , X 2 = x 2 , . . . , X n = x n } , x 1 ∈ X 1 , x 2 ∈ X 2 , . . . , x n ∈ X n p(x_1,x_2,...,x_n)=P_r\{X_1=x_1,X_2=x_2,...,X_n=x_n\},x_1\in\mathcal{X_1},x_2\in\mathcal{X_2},...,x_n\in\mathcal{X_n} p(x1​,x2​,...,xn​)=Pr​{X1​=x1​,X2​=x2​,...,Xn​=xn​},x1​∈X1​,x2​∈X2​,...,xn​∈Xn​，则联合熵为$$H(X_1,X_2,...,X_n)$$$$=-\sum _{x_1\in {\mathcal{X}}_1}\sum _{x_2\in {\mathcal{X}}_2}...\sum _{x_n\in {\mathcal{X}}_n}p(x_1,x_2,...,x_n)logp(x_1,x_2,...,x_n)$$

1.2.3 条件熵

  设随机变量对$(X,Y)$有联合分布$p(x,y)$，用 p ( y ∣ x ) = P r { Y = y ∣ X = x } , x ∈ X , y ∈ Y p(y|x)=Pr\{Y=y|X=x\},x\in\mathcal{X},y\in\mathcal{Y} p(y∣x)=Pr{Y=y∣X=x},x∈X,y∈Y表示条件概率分布，则给定$X=x$条件下$Y$的熵定义为$$H(Y|X=x)=-\sum _{y\in \mathcal{Y}}p(y|x)logp(y|x)$$用$H(Y|X)$来表示$H(Y|X=x)$关于$X$的平均值，则有$$H(Y|X)=-Elogp(Y|X)$$

1.2.4 链法则

  随机变量对的联合熵、单个随机变量的熵以及两变量的条件熵具有如下关系：

  （链法则） ：$H(X,Y)=H(X)+H(Y|X)$

  推广至多元随机变量：

  设$X_1,X_2,...,X_n$的联合分布为$p(x_1,x_2,...,x_n)$，则$$H(X_1,X_2,...,X_n)=\sum _{i=1}^{n}H(X_i|X_{i-1},...,X_1)$$

---

1.3 相对熵和互信息

1.3.1 相对熵

  相对熵是两个概率分布差异性的一种度量。定义在同一字母集合$\mathcal{X}$上的两个概率分布$p(x)$和$q(x)$的相对熵定义为：$$D(p||q)=\sum _{x\in \mathcal{X}}p(x)log\frac{p(x)}{q(x)}=E_{p}log\frac{p(x)}{q(x)}$$在此，我们规定$0\cdot log\frac{0}{q}=0,p\cdot log\frac{p}{0}=\infty$，一般地，$D(p||q)\ne D(q||p)$，且$D(p||q)\ge 0$（等号成立的充要条件为对所有的$x\in \mathcal{X}$都有$p(x)=q(x)$）

1.3.2 互信息

  互信息是一个随机变量包含的关于另一个随机变量的信息量的度量。设两个随机变量$(X,Y)$的联合分布为$p(x,y)$，边际分布分别为$p(x)$，$p(y)$，定义互信息$I(X,Y)$为联合分布$p(x,y)$与乘积分布$p(x)\cdot p(y)$的相对熵，即$$I(X;Y)=\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x,y)\log \frac{p(x,y)}{p(x)\cdot p(y)}$$$$=E_{p(x,y)}\log \frac{p(X,Y)}{p(X)\cdot p(Y)}$$由定义可知，互信息关于$X,Y$对称，即$I(X;Y)=I(Y;X)$，同时我们也可知互信息$I(X;Y)$、熵$H(X)$和$H(Y)$、联合熵$H(X,Y)$、条件熵$H(X|Y)$和$H(Y|X)$具有如下关系：$$I(X;Y)=H(X)+H(Y)-H(X,Y)$$$$=H(X)-H(X|Y)$$$$=H(Y)-H(Y|X)$$$$=I(Y;X)$$$$I(X,X)=H(X)$$
当然，互信息具有非负性，$I(X,Y)\ge 0$，当且仅当$X$和$Y$相互独立时等号成立.

两个随机变量互信息与熵的关系图：

由图可知由以下不等式成立，

$H(X|Y)\le H(X)$及其推广$$H(X_i|X_{i-1},...,X_1)\le H(X_i)$$$H(X,Y)\le H(X)+H(Y)$及其推广$$H(X_1,...,X_n)\le \sum _{i=1}^{n}H(X_i)$$上述不等式表明：条件增加，随机变量的不确定性下降，对应的熵减少。

1.3.3 条件互信息

设随机变量$X,Y,Z$的联合分布为$p(x,y,z)$，则给定$Z$条件下$X$和$Y$的条件互信息为$$I(X;Y|Z)=\sum _{z\in \mathcal{Z}}p(z)\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x,y|z)\log \frac{p(x,y|z)}{p(x|z)p(y|z)}$$

性质

同样具有以下关系：$$I(X;Y|Z)=H(X|Z)+H(Y|Z)-H(X,Y|Z)$$$$=H(X|Z)-H(X|Y,Z)$$$$=H(Y|Z)-H(Y|X,Z)$$$$=I(Y;X|Z)$$

非负性：$I(X;Y|Z)\ge 0$，当且仅当$Z$条件下$X$和$Y$互相独立.

类似于熵的链法则：$$I(X_1,X_2,...,X_n)=\sum _{i=1}^{n}I(X_i;Y|X_{i-1},X_{i-2},...,X_1)$$

马氏链

  设随机变量$X,Y,Z$的联合分布为$p(x,y,z)$，则当$$p(x,y|z)=p(x|z)p(y|z)$$对任意$x\in \mathcal{X},y\in \mathcal{Y},z\in \mathcal{Z}$成立时，称在$Z$条件下$X$和$Y$相互独立，记为$X\perp Y|Z$，此时$X,Z,Y$构成马氏链，记为$X\to Z\to Y.$

易证如下不等式成立，

1. 如果$X\to Z\to Y$为马氏链，则$I(X;Y)\le I(X;Z)$及$I(X;Y)\le I(Z;Y).$

2. 如果$U\to X\to Y\to V$构成马氏链，则$I(U;V)\le I(X;Y).$