【概率论】——熵、条件熵、信息增益

熵的含义：

在信息论中，熵（英语：entropy）是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）——维基百科。

我们可以直观地把熵理解为一个事件的结果的不确定性，或者信息量，其单位为 bit。

---

熵的计算：

熵描述的是个事件的不确定性，如果某个事件有 n 个结果，每个结果的概率为 pn。那么这个事件的熵 H§ 的定义式为

例子：

假设有一场足球赛，巴西队对战中国队。假设巴西队获胜的概率为 0.9，不胜的概率为 0.1。那么这场比赛结果的熵就是：

假设有另一场足球赛，英国队对战法国队。假设英国队获胜或不胜的概率都是0.5。那么这场比赛结果的熵就是：

后者的熵比前者大，可见结果的不确定更大，比赛结果的信息量就更大。

---