一、简介
-
信息熵:
- 信息熵用于解决信息的量化问题,将原本模糊的信息概念进行计算得出精确的信息熵值,信息熵是描述消息中,不确定性的值。
- 它与信息对应,但是概念相反,信息可以用来消除不确定性,也就是消除熵,降低熵值。
-
信息熵计算公式:
熵用 bit(比特)为单位,其中 P 是概率质量函数,b为变量数。
- 0 ≤ H ( X ) ≤ l o g n 0≤H(X)≤logn 0≤H(X)≤logn
二、举例
-
问题:一串消息包含A,B,C,D,E共5类符号,其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少?
-
解:
由题目得该消息有:
共42个符号
A类符号个数:6 → P ( A ) = 6 42 P(A)=\frac{6}{42} P(A)=426
B类符号个数:4 → P ( B ) = 4 42 P(B)=\frac{4}{42} P(B)=424
C类符号个数:9 → P ( C ) = 9 42 P(C)=\frac{9}{42} P(C)=