通俗理解信息熵

参考原文：https://blog.csdn.net/hearthougan/article/details/76192381 

-----------------建议：慢慢看，确实有点枯燥，但不难理解--------------------------------------------------------------

距离有近有远，时间有长有短，温度有高有低，我们知道可以用米或者千米来度量距离，用时分秒可以来度量时间的长短，用摄氏度或者华氏度来度量温度的高低，那么我们常说这句话信息多，那句话信息少，那么信息的多少用什么度量呢？信息量！

    信息量是度量知晓一个未知事物需要查询的信息的多少，单位是比特。比如昨天你错过一场有8匹赛马的比赛，编号为1~8号，每匹马赢的概率都一样，那么你需要获得多少信息（也就是猜测多少次）才可以知道哪匹马获胜？利用二分法，猜测三次即可，如下图：

    那么你需要的信息量就是3比特。信息量度量的是从未知到已知所需信息的多少，比如上图，一开始不知道哪匹马 获胜，我们开始猜测，最后猜测是1号获胜，其中需要3比特信息。

---

    但是因为每匹马是等概率获胜的，而你又不知道哪匹马获胜，如果最后猜测出来是3号胜&#