信息熵概念随笔——信息熵、信息的熵

      之前碰到有人问，信息熵的事，问到，有的地方说信息熵是用来描述事物的不确定程度，取值范围0～1；为什么在计算信息熵的时候，结果却是大于1的。其实，这里涉及到了信息熵不同角度的概念问题，我就从我所了解的两个角度讲下这两种情况。

      

       1.从信息熵的作用定义出发，它就是用来描述事物的不确定程度，也就是当事物完全不确定的时候，不确定度就是1（例1如：我问你明天下不下雨，你告诉我说，明天不下雨的话，早上想晨跑，此时，“明天不下雨的话，早上想晨跑”这个信息对于我想知道明天下不下雨没有任何意义，通过这个信息，我还是不知道明天是否会下雨）反之，当信息完全确定的时候，那么它的不确定度就是0（例2如：你问我现在外面在下雨吗？我说，外面正在下雨，此时，“外面正在下雨”这个信息已经明确了，百分百的确定了现在外面在下雨。）

      如果例1当中，你又说，你不久前看了天气预报，预报说明天有阵雨，这时，明天下不下雨的确定性就有所增加了，明天可能会下雨，相应的不确定性就减小了，也就是事物的不确定度小于1了。

      所以，随着事物不确定程度的变化，它（信息熵）的取值范围就在0～1之间变动。

      

      2.信息熵公式所求的值，则是从信息量出发，用来定义信息量的多少。就拿上面例子所讲的，例1中，我问你明天下不下雨，你告诉我说，“明天不下雨的话，早上想晨跑，不久前刚看了天气预报说明天会有阵雨”，其中你所讲的话就是信息，而对我所问的问题，“天气预报说明天会有阵雨”这个信息是有价值的，能改变我对明天是否下雨这件事的确定程度。在这里信息熵就是用来度量此类信息的量，此类信息越多，信息熵就越大。如果例1中，你说，“明天不下雨的话，早上想晨跑，早上想吃包子，想晚点起床”，那么对于我想知道明天是否下雨这件事，没有任何价值，所能提供的有效信息是0，此时，信息熵也就是0。这里就引出了信息熵的一个特性，不为负值。也就是说，信息最少的情况就是没有信息，没有信息，就是0信息，不存在负的信息这玩意。

      

      综上，就是信息熵两种情况下的定义和值。

      

      点题，可以用一个“的”字来区分理解：

      信息熵：用来描述事物的不确定度，值0～1；

      信息的熵（类等于 信息的量）：用来描述信息的量，能够减少事物不确定性的信息越多，值越大，反之越小，且不为负值。

      

      

      以上为本人对信息熵的理解，供大家参考，如有不同见解，欢迎指教～