信息熵（entropy)的理解

引言：
最近在看数据挖掘的内容，看视频的时候，里面讲到了一些信息熵的东西，突然让我对于之前信息熵的迷惑瞬间消散。写这个的目的只是抛砖引玉，辅助看到信息熵的朋友加深一点点…点.理解，水平实在有限，尽量保证正确

首先这儿有个统计图表，如下：

从图中这三列，我们分别可以得到如下信息：
1.第一列：总人群中男女比例都是0.5
2.第二列：在不吸烟的人群中女的为0.8，男的为0.2
3.第三列：在吸烟的人群总女的为0.05，男的为0.95

现在我们抛出这样一个问题。晚上，你在街角看到一个人在抽烟，你能确定他是男人还是女人？

很明显，百分之50是男的，百分之50是女的。那么这中间信息的不确定度到底有多大呢？

这里信息熵就是用来描述不确定度的，信息熵公式及函数图像如下：

可以看信息熵的函数是一个凹函数
那么现在你在不知道人群男女吸烟比例的情况下，你的信息熵是多少呢？也就是你的不确定度。
根据男女比例各位0.5的概率，带入信息熵公式，有如下结果：

可以看到这个时候你的熵值为1(严重不自信,猜什么错什么），也就是不确定度最大。

假设这个时候，你知道了最开始图表中的男女吸烟比例，你可以得到如下熵值：

从上面你分别算出了这么三个等式：
1.对于不吸烟的人群，你的不确定度0.7219
2.在吸烟的人群中，你的不确定度0.2864
3.对于所有人群，你的不确定度0.5477 （第三个公式的0.6和0.4分别是不吸烟和吸烟人群在总人口的比例）
这时候你在得知吸烟男女比例后，你的不确定度就降低到了0.5477（有点自信了）

然后你还可以得到一个信息增益（information gain）,也就是你在得到一些额外信息之后，你的不确定度降了多少。

最后：
1.信息熵表示的是你的不确定度,当概率为0.5的时候，最大值为1,这个时候就是严重不自信，左右偏移
2.当你得到一些关于你想知道事物的信息时，你心中对这个事物的猜测概率就会便宜0.5，不确定度（熵值）也会远离凹函数图形的顶点，不确定度随之降低。

反正我是爽了，建议可以看如下视频：
空降
05 特征选择 时间线：06：17 附近
https://www.bilibili.com/video/BV15t411v7Pg?p=5