信息测度：信息熵、联合熵、条件熵、互信息、条件互信息、块熵、相对熵、转移熵

1.信息量

信息量是指从$N$个相等可能事件中选出一个事件所需要的信息度量或含量，也就是在辩识$N$个事件中特定的一个事件的过程中所需要提问是或否的最少次数。

在一个系统中，等可能事件的数量越多，事件的发生概率也就越低，传递究竟是哪个事件发生所需的比特信号也就越多。

举个例子，假如有两个相互隔离的房间A、B，二者只能通过01信号传递信息。当A房间投掷了一个硬币时，我们至少需要使用${\log }_{2}2=1$个比特信号告诉B房间是正面朝上还是反面朝上。类似地，当A房间投掷了一个有8个面的骰子时，我们至少需要${\log }_{2}8=3$个比特的信号来传递该信息。

假如系统中有的$N$个等可能事件，那么我们将${\log }_{2}N$称为信息量。由于等可能事件的发生概率为$\frac{1}{N}$，则信息量的公式可以写作
$$-{\log }_2\frac{1}{N}$$推而广之，假设事件$x$的发生概率为$p\left(x\right)$，则传递该事件发生需要的最少比特信号位（即信息量）为 $$-{\log }_{2}p\left(x\right)$$

2.信息熵

信息熵用于衡量整个事件空间包含的平均信息量，即信息量的平均期望。将事件空间中所有事件发生的概率，乘以该事件的信息量，即可得到信息熵：
$$H\left(x\right)=\sum _{x\in X}p\left(x\right)\cdot \left(-{\log }_{2}p\left(x\right)\right)=-\sum _{x\in X}p\left(x\right)\cdot {\log }_{2}p\left(x\right)$$

3.联合熵

对于服从联合分布为$p\left(x,y\right)$的一对离散随机变量$\left(X,Y\right)$，其联合熵(joint entropy)定义为：
$$H\left(X,Y\right)=-\sum _{x\in X}\sum _{y\in Y}p\left(x,y\right)\cdot {\log }_{2}p\left(x,y\right)$$

4.条件熵

表示在$X$给定条件下，$Y$的条件概率分布的熵对$X$ 的数学期望

若$\left(X,Y\right)\sim p\left(x,y\right)$，条件熵(Conditional entropy)$H\left(Y|X\right)$定义为：
$$\begin{array}{rl}H\left(Y|X\right)& =\sum _{x\in X}p\left(x\right)\cdot H\left(Y|X=x\right)=-\sum _{x\in X}p\left(x\right)\sum _{y\in Y}p\left(y|x\right)\cdot {\log }_{2}p\left(y|x\right)\\ & =-\sum _{x\in X}\sum _{y\in Y}p\left(x,y\right)\cdot {\log }_{2}p\left(y|x\right)\end{array}$$

5.互信息

信息熵只能用于计算单个随机变量的信息量，为了量化随机变量之间的联系，需要引入互信息（Mutual Information）的概念。互信息表示两个随机变量间相关信息的多少，即：当观测一个随机变量时，另一个随机变量的不确定性减少了多少比特。给定两个随机变量$X$和$Y$，其联合概率密度$$p\left(x,y\right)=P\left(X=x,Y=y\right)$$则$X$和$Y$之间的互信息$I(X,Y)$的计算方式为：
$$\begin{array}{rl}H\left(X\right)-H\left(X|Y\right)& =-\sum _{x\in X}p\left(x\right)\cdot {\log }_{2}p\left(x\right)-\sum _{y\in Y}p\left(y\right)\cdot H\left(X|Y=y\right)\\ & =-\sum _{x\in X}\sum _{y\in Y}p\left(x,y\right)\cdot {\log }_{2}p\left(x\right)+\sum _{y\in Y}p\left(y\right)\sum _{x\in X}p\left(x|y\right)\cdot {\log }_{2}p\left(x|y\right)\\ & =-\sum _{x\in X}\sum _{y\in Y}p\left(x,y\right)\cdot {\log }_{2}p\left(x\right)+\sum _{x\in X}\sum _{y\in Y}p(x,\\ & \end{array}$$