从信息量到各种熵

本篇文章从数学角度深度探讨一下 信息量、熵、条件熵、信息增益、KL散度和交叉熵 之间的爱恨情仇，也藉此记录一下自己理解的心路历程。

信息量

信息量通常与概率相关，它可以表示一个事件携带了多少信息。从我们自身感受角度来看，信息量可以理解为这个事件给我们反馈了多少信息。比如我们常听闻有人夸张地说一件事 信息量爆炸 ，试想，如果这件事经常发生，我们已经习以为常，还会觉得它 信息量爆炸 吗？显然不会。只有当这件事发生概率很小，然后在它发生时才会让人感到信息量很大，因此，可以认为事件包含信息量的大小与事件发生的概率成反比。

基于以上结论，你可能会想如何用数学来表示信息量，因为信息量与概率成反比，我们只要找一个函数，它满足自变量(概率)与因变量(信息量)负相关即可，事实上，信息量的数学表示为：$h(x_i)=-logP(X=x_i)$

其中，假设$X$ 是一个取有限个值的离散随机变量，$x_i$ 是 $X$ 的一个取值。 $P(X=x_i)$ 表示事件发生的概率；$h(x_i)$ 表示事件的信息量，$log$ 通常用 $2$ 或 $e$ 为底。

下图为 $h(x)=-logp(x)$ 的图像，可以看出来随着概率 $p(x)$ 的增大，信息量$h(x)$ 越来越小。

信息熵

在信息论与概率统计中，熵是用来度量随机变量不确定性的程度的。熵越大，不确定性就越大。

上面说信息量度量的是一个具体事件发生带来的信息，而熵则是在结果出来之前对随机变量所有可能发生事件所带来的信息量的期望。按信息量公式，我们可以计算出 $X=x_i$ 时的信息量，那我们如何评估随机变量 $X$ 的信息量呢？此时，就轮到熵登场了。

熵可以用来表示信息量关于随机变量在其概率分布 $P$ 上的期望，令 $P(X=x_i)=p_i,i=1,2,\mathrm{3...},n$

则熵的公式为:

$H(X)=-{\sum }_{i=1}^n{p}_{i}log{p}_i$

假设随机变量 $X$ 的 $n$ 个值的概率相等，即 $p_i=\frac{1}{n}$，则随机变量 $X$ 的熵为:

$H(X)=-{\sum }_{i=1}^n\frac{1}{n}log\frac{1}{n}=-log\frac{1}{n}=-log1+logn=logn$

从上式可以直观地看出，熵可以看作随机变量的"平均信息量"(仅限概率相等时)。

上面说过，熵是用来度量随机变量不确定性的程度的，熵越大，不确定性就越大。为了理解这句话，我们来看组成熵的每一项: $-p_{i}log{p}_i$

结合上面的 $-logp(x)$ 的图像可以看出，不论 $p_i$ 往越大或越小的方向走(接近确定性的分布)，$-p_{i}log{p}_i$ 都会接近0， 而当 $p_i$ 接近均匀分布的概率时，$-p_{i}log{p}_i$ 相对比较大。直觉来看，当随机变量的概率分布越接近均匀分布时，我们会觉得这个随机变量越不确定。

事实上，熵 $H(X)$ 的最大值就是在 $p_i=\frac{1}{n}$时取到的，即 $logn$ 。

举个栗子，假设随机变量 $X$ 只有两个取值，概率分别为 $p$ 和 $1-p$ ，代入熵的公式得到：

$H(X)=-plogp-(1-p)log(1-p)$

对应的图像如下所示，在概率 $p=0.5$ 时熵最大。

这就是为什么说熵是随机变量不确定性的度量。

条件熵

条件熵的定义为在 随机变量 $X$ 给定条件下 随机变量 $Y$ 关于 $X$ 的条件概率分布的熵 对 $X$ 的数学期望。

这句话很拗口，我们从这句话中提取出三部分

• 随机变量 $X$ ： 令 $P(X=x_i)=p_i,i=1,2,\mathrm{3...},n$
• 随机变量 $Y$ 关于 $X$ 的条件概率分布的熵：对于 $X=x_i$ ， $Y$ 关于 $x_i$ 的条件概率可以表示为 $P(Y|X=x_i)$ ，由上面熵的定义，我们可以求 $P(Y|X=x_i)$ 的熵：$H(Y|X=x_i)=-{\sum }_{y\in Y}P(Y|X=x_i)logP(Y|X=x_i)$ ，这里的 ${\sum }_{y\in Y}$可以理解为在已经 $X=x_i$ 情况下，$Y$ 的可能取值个数，因为上面对随机变量 $X$ 的熵 $H(X)=-{\sum }_{i=1}^n{p}_{i}log{p}_i$ ，其中的 $n$ 就表示 $p_i$ 的 可能取值个数。
• 对 $X$ 的数学期望：即随机变量 $Y$ 关于 $X$ 的条件概率分布的熵 $H(Y|X=x_i)$ 对随机变量 $X$ 概率分布的期望，用公式表示为：$H(Y|X)=-{\sum }_{i=1}^n{p}_{i}H(Y|X=x_i)=-{\sum }_{i=1}^{n}P(X=x_i){\sum }_{y\in Y}P(Y|X=x_i)logP(Y|X=x_i)$

举个栗子来理解，下图是《统计学习方法》里面的样例数据。

比如，我们想计算已知年龄情况下(随机变量 $X$ 给定条件下)是否批复贷款的条件熵(随机变量 $Y$ 关于 $X$ 的条件概率分布的熵 对 $X$ 的数学期望)。

照着条件熵公式，我们先来看随机变量 $X$ (即年龄)有几种取值，对于年龄，有 青年、中年、老年 三种取值，年龄为 青年 的概率为 $\frac{5}{15}$ ，即 $p_i=\frac{1}{3}$ ，此时对应数据样本中的前5条数据，在这5条数据中，我们再来看随机变量 $Y$ (即类别)有几种取值，对于类别，5条中有3条为 否 ，2条为 是 ，则类别关于年龄的条件概率分布的熵为：$H(Y|X=青年)=-\frac{3}{5}log\frac{-3}{5}-\frac{2}{5}log\frac{-2}{5}$ ，所以对于年龄为 青年 时的条件熵分项为$H(Y|X)=p_{i}H(Y|X=青年)=\frac{1}{3}(-\frac{3}{5}log\frac{-3}{5}-\frac{2}{5}log\frac{-2}{5})$。

参照上面年龄为 青年 时的算法， 可以计算出 中年和老年 的条件熵分项，然后把它们加起来，即可得到已知年龄情况下是否批复贷款的条件熵。

之前说过，熵表示随机变量不确定性的程度，熵越大，表示随机变量不确定性越高，现在我们又有了条件熵(本质上也是一种熵)。

信息增益

如果我们在已知某随机变量 $X$ 时，随机变量 $Y$ 的条件熵很小，即 $Y$ 的不确定性变得很小了，那我们可以说 $X$ 对于降低 $Y$ 的不确定性贡献很大，对这种贡献的度量，可以用信息增益。随机变量 $X$ 对随机变量 $Y$ 的信息增益 $g(Y,X)$， 定义为随机变量 $Y$ 的熵 $H(Y)$ 与随机变量 $X$ 给定条件下随机变量 $Y$ 的条件煽 $H(Y|X)$ 之差，即 $g(Y,X)=H(Y)-H(Y|X)$。

交叉熵

交叉熵本质上也是一种熵，且其和KL散度息息相关。为此，我们先引入KL散度的介绍。

KL散度

KL散度用来衡量两个概率分布之间的相似度(差异)，也是一种损失函数。

对于离散型随机变量 $X$ ，令 $P(X)$ 作为它的真实概率分布， $Q(X)$ 作为它拟合 $P(X)$ 的近似概率分布。只有当 $Q(X)$ 与 $P(X)$ 完全一样时，这两个概率分布的相似度才会达到最大，亦即差异最小。参照上面信息量、熵的公式，我们也可以用数学公式来描述这两个概率分布间的这种关系：

$D_{KL}(P||Q)={\sum }_{i=1}^n{p}_i(ln\frac{p_i}{q_i})$

其中 $D_{KL}(P||Q)$ 为两个概率分布的KL散度， $P(X=x_i)=p_i,Q(X=x_i)=q_i,i=1,2,\mathrm{3...},n$

对于KL散度，可以证明 $D_{KL}(P||Q)>=0$

证明：

1. $D_{KL}(P||Q)={\sum }_{i=1}^n{p}_i(ln\frac{p_i}{q_i})={\sum }_{i=1}^n{p}_i(ln{p}_i-ln{q}_i)=-{\sum }_{i=1}^{n}pi(ln\frac{q_i}{p_i})$，因为 $q_i、p_i$ 都是概率，所以 $\frac{q_i}{p_i}>0$

2. 有不等式(证明过程可以自行度娘)：$ln(x)<=x-1,其中x>0$

3. ${\sum }_{i=1}^n{q}_i=1,{\sum }_{i=1}^n{p}_i=1$

由上面不等式可以推导出 $ln\frac{q_i}{p_i}<=\frac{q_i}{p_i}-1$

故得：$D_{KL}(P||Q)=-{\sum }_{i=1}^{n}pi(ln\frac{q_i}{p_i})<=-{\sum }_{i=1}^n{p}_i(\frac{q_i}{p_i}-1)>={\sum }_{i=1}^n{p}_i(\frac{q_i}{p_i}-1)={\sum }_{i=1}^n{q}_i-{\sum }_{i=1}^n{p}_i=0$

可以看出，当且仅当所有的 $q_i=p_i$ 时(此时 $ln\frac{p_i}{q_i}=ln1=0$ )，即 $Q=P$ ，两个概率分布完全相同时KL散度取到最小。

这就是KL散度能表达两个概率分布之间相似度(差异)的本质。

交叉熵与KL散度的关系

当真实概率分布 $P(X)$ 已知时，我们是可以求得其熵：$H(P)=-{\sum }_{i=1}^n{p}_{i}ln{p}_i$

从KL散度公式可得：$D_{KL}(P||Q)={\sum }_{i=1}^n{p}_i(ln\frac{p_i}{q_i})={\sum }_{i=1}^n{p}_i(ln{p}_i-ln{q}_i)=-(-{\sum }_{i=1}^n{p}_{i}ln{p}_i)+(-{\sum }_{i=1}^n{p}_{i}ln{q}_i)$

我们令概率分布 $Q(X)$ 与 $P(X)$ 的交叉熵为 $H(P,Q)=-{\sum }_{i=1}^n{p}_{i}ln{q}_i$

所以：$H(P,Q)=H(P)+D_{KL}(P||Q)$

即概率分布 $Q(X)$ 与 $P(X)$ 的交叉熵等于概率分布 $P(X)$ 的熵加上两个概率分布的KL散度，其中概率分布 $P(X)$ 的熵是一个常数，也就是说交叉熵在某种意义上就是KL散度，所以交叉熵也常用来衡量两个概率分布之间的相似度(差异)，是一种常用在分类算法里面的损失函数。

另外，交叉熵具有如下几个性质：

• 交叉熵具有非负性
• 当概率分布 $Q(X)$ 与 $P(X)$ 相同时，交叉熵等同于概率分布 $P(X)$ 的熵(因为此时KL散度=0)