熵的理解_简单例子分析

前言：

机器学习中频繁地使用到熵这个概念去对模型结果进行刻画和评估，在此稍微记录一下近两天我对熵的一些理解，有些坑已经踩了不止一次了。。。

下图引用自李宏毅教授的机器学习入门，感谢李老师，讲得的确非常好。

正文：

先上图，之后就对着这页PPT的内容说一下我的想法。

 我们只讨论熵这个概念，这里不把熵和机器学习结合起来说。

首先，给出直观的理解。熵就是描述物质（对象）内部混乱程度的量。如果有这么一组数据【1，1，1，1，1】那么它就很不混乱，它的熵就是0.如果一组数据是【1，2，3，4，5】，它就表现的不一致，熵值就比前一组数据大。

然后我的问题就来了（承认自己有些时候有些呆），上图不是有三个柱状图嘛，如果按照直观的感受，第一个和第二个图它们不是分布的有差异吗？而第三个图分布得很均匀呀，为啥第三个反而熵值大呢？

这就得说一说熵的计算式了，见下方：

pi是每个事件出现的概率，对数一般取2为底，单位为比特。但是，也可以取其它对数底，采用其它相应的单位，它们间可用换底公式换算。

继续结合上文提到的数组举例，【1，1，1，1，1】中1出现的概率是100%，所以它的熵算出来是0，而【1，2，3，4，5】每个数出现的概率是20%，它的熵算出来是ln5。

回答上方提出的问题了：上方的柱状图其实展示的不是最开始的统计数据，即不是我们看到的数组，而是已经经过统计之后的每个数出现的概率了，这个概率是直接带进公式计算的，而原始数据不是。这么就能明确熵的概念及计算过程了。

说在最后：

机器学习很复杂，但难学主要还是在很多基础概念不清楚，概念都不清楚，上来就直接调包的话很容易把自己弄混的，学习东西还是要慢慢来，一步一个脚印。