信息论中熵 联合熵 条件熵 相对熵（KL散度）（交叉熵） 互信息 （信息增益）的定义 及关联

传送门：信息熵在tensorflow2.*中实现参考博文

熵（Entropy）的理论知识

定义

在信息论中，熵被定义为随机变量的平均不确定度的度量。也是平均意义上描述随机变量所需的信息量的度量。
设$X$是一个离散型随机变量，其字母表（即概率论中的取值空间）为$\chi$。概率密度函数$p(x)=Pr(X=x),x\in \chi$， 则一个离散随机变量$X$的熵$H(X)$定义为
$$H(X)=-\sum p(x){\log }_{2}p(x)$$

表达式中对数函数以2为底，熵的量纲为比特。在平均意义下，熵是为了描述随机变量$X$所需的比特数。
构建这个表达式的优点：对于0-1分布或者伯努利分布而言，p=0.5时，熵值最大，恰好等于1比特。即对事件发生不确定度最大时，恰好熵值最大。
数学期望表达式
如果$X\sim g(x)$，随机变量$g(x)$的期望值可记作：
$$E_{p}g(x)=\sum _{x\in \chi }g(x)p(x)$$
当$g(x)=log\frac{1}{p(X)}$时， $H(X)$可以表示位随机变量$log\frac{1}{p(X)}$的期望值，即
$$H(X)=E_{p}log\frac{1}{p(X)}$$

例子

1. 均匀分布

一个服从均匀分布且有32种可能结果的随机变量，需要用多长的字符串描述这个随机变量？
首先易得使用二进制需要$2^5=32$，即5字节的长度。
由熵公式可得，$H(X)=-{\sum }_{x=1}^{32}p(x)log(px)=-{\sum }_{x=1}^{32}\frac{1}{32}log\frac{1}{32}=5$比特，恰好等于描述32的字节长度

2. 非均匀分布

书中举了一个实际的例子，假定一个有8匹马的比赛，8匹马的获胜概率分别位$(\frac{1}{4},\frac{1}{8},\frac{1}{16},\frac{1}{32},\frac{1}{64},\frac{1}{64},\frac{1}{64},\frac{1}{64})$。现在需要在马赛比赛结束的第一时刻把消息传播出去，并使用传播所需的信息最小。
有两种策略：

1. 对所有参赛的马按照相同策略进行编码
   此时8匹马需要使用$2^3=8$，即使用常规的二进制编码方式从000到111进行编码。因此，对任何一匹马都选哟3字节长度。
2. 可能性较大的马使用较短的编码
   这样对应8匹马分别使用：0，10，110，1110， 111100，111101，111110，111111的一组二元字符串进行表示的话。对每一匹马的编码长度乘以对应概率值求和，刚好等于2，小于方法一中的3字节长度。

• 策略一中为什么不使用一位和两位的字符？

同时，由求熵公式可得
$$H(X)=-\frac{1}{2}$$