兴趣学习: 信息熵    ---- 《数学…

信息熵

      今天看书的时候, 发现一个有点意思的名词--"信息熵", 是香农在他著名的论文"通信的数学原理"中

 提出, "信息熵"解决了信息的度量问题, 量化信息的作用.

      世界杯的32支队伍里面, 假设用1~32编码代表每一支球队, 现在你想要知道那支球队获得冠军, 你要

 用最少的询问次数获得结果.在做题的话我会采用二分的方法, log32 = 5, 最多5次结果就出来了. 但是在

 实际应用中你不需要5次就可以了, 因为你绝对不会猜日本, 韩国之类的球队, 你会猜西班牙, 德国和意大利

 这样的球队. 因此去除不会猜的队伍, 在剩下中再次编码二分法, 次数会大概3~4次.

      这样的问题中, 在信息量中, 采用的是"比特"代替了次数, 这样猜测问题中, 消耗是5个比特. 香农提

 出准确的公式: H = - (p1*logp1 + p2*logp2 + ... + pn*logpn); (p1是球队获得冠军的概率, log是以二

 为底, 全文出现都是以二为底).

      上面的问题结果是最多5次, 可以用这条公式证明:

 证明:

      设Ti = pi * log(pi), 这里转换一下 == > Ti = (xi/32) * (log(xi/32))

      Ti = (xi/32) * ( log(xi) - log32 )

         = (xi/32) * ( log(xi) - 5 )

      ∑Ti = ∑(xi/32)*(log(xi)) - 5 * ∑(xi/32)  (0 <= i <= 32)

           = ∑(xi/32)*(log(xi)) - 5

      即: H = -∑Ti = 5 - ∑(xi/32)*(log(xi))

      显然这里最大值是5  (∑(xi/32)*(log(xi)) 这里可以求导证明结果最小值为0, 当全部xi取1时);

 证明完毕

      H(X) = - ∑p(x)*log(p(x)); (x ∈ X)