【熵系列-2】信息熵

【熵系列-2】信息熵

熵的定义：

根据维基的定义，熵的定义如下：熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。直白地解释就是信息中含的信息量的大小，其定义如下：
$H(X)=E[I(X)]=E(-ln(P(X)))$
其曲线如下图：

上一篇文章我们简单介绍了香农信息量的概念，由香农信息量我们可以知道对于一个已知概率的事件，我们需要多少的数据量能完整地把它表达清楚，不与外界产生歧义。但对于整个系统而言，其实我们更加关心的是表达系统整体所需要的信息量。比如我们上面举例的aaBaaaVaaaaa这段字母，虽然B和V的香农信息量比较大，但他们出现的次数明显要比a少很多，因此我们需要有一个方法来评估整体系统的信息量。

相信你可以很容易想到利用期望这个东西，因此评估的方法可以是：“事件香农信息量×事件概率”的累加。这也正是信息熵的概念。

如aaBaaaVaaaaa 这段字母，信息熵为：$-\frac{5}{6}lo{g}_2\frac{5}{6}-2\times \frac{1}{12}lo{g}_2\frac{1}{12}=0.817$

abBcdeVfhgim这段字母，信息熵为：$-12\times \frac{1}{12}lo{g}_2\frac{1}{12}=3.585$

从数值上可以很直观地看出，第二段字母信息量大，和观察相一致。对于连续型随机变量，信息熵公式变为积分的形式，如下：

$H(p)=H(X)=E_{x\sim p(x)}[-logp(x)]=-\int p(x)logp(x)dx$