机器学习中的信息论

熵和信息量

假设我们有一组离散的符号集$\lbrace v_1,v2,...v_m \rbrace$，每个符号具有相应的出现概率$P_i$。为了衡量这组符号组成序列的随机性，定义离散分布的熵为：

$$H = -\sum_{i=1}^{m}P_i\,log_2P_i\tag 1$$
其中定义 $0\,log\,0=0$。其中对数的底数为2，这时候熵的单位为“比特”。熵是刻画这些符号不确定性的量。熵的值并不依赖于符号本身，而是依赖于符号出现的概率。给定m个符号，当这些符号出现的概率相同时，对应的熵最大。此时的熵：
$$H = -\sum_{i=1}^{m}\frac{1}{m}log_2 \frac{1}{m}= -log_2\frac{1}{m}= log_2{m}\tag 2$$
对于连续的情况：
$$H = -\int_{-\infty}^{+\infty}p(x)\,\,lnp\,(x)\,dx\tag 3$$
在所有的连续概率密度函数中，如果均值 $\mu$和方差 $\sigma ^2$都是固定的，则使熵达到最大值的是高斯分布。
高斯分布的概率密度函数为：
$$p(x) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma ^2})\tag 4$$
求高斯分布的熵：
$$\begin{align}H &= -\int_{-\infty}^{+\infty}p(x)\,\,lnp\,(x)\,dx \tag 5\\ &= 0.5+log_2(\sqrt{2\pi}\sigma) \tag 6 \end{align}$$
对于离散随机变量 $x$和任意函数$f(\cdot)$，都有 $H(f(x))\leq H(x)$。换而言之，对于信号的任何处理都不会增加熵。特别的当 $f(x)$是一个常数值函数时，则熵变为0。这个性质对于连续行的随机变量是不成立的。