信息熵的定义

信息熵的定义

信息熵

1. 每一个随机事件都有自信息$I(a_i)$

2. 针对系统，取各随机事件自信息的统计平均：
   $$E_{p}I(a_i)=\sum _{i}p(a_i)I(a_i)=-\sum _{i}p(a_i)logp(a_i)$$

离散随机变量的信息熵

离散随机变量$X$的信息熵$H(X)$定义为：
$$H(X)=-\sum _{x\in X}p(x)logp(x)$$

• $H(.)$的综量是随机变量的分布，而非取值
• $0log0=0$（$x\to 0$时，$xlogx\to 0$），概率为0的事件不影响信息熵

信息熵的唯一性定理

• 香农给出了信息熵函数满足的三个条件

  1. 连续性：当随机系统的概率分布发生了微小的变化，信息量不应该发生显著的变化，二者应该是连续的。
  2. 等概时的单调增函数特性：当随机系统是在一个集合上等概率分布的，那么随着集合中元素的个数的增加，信息熵的函数应该具有单调增的特性。
  3. 可加性：一个随机系统的信息熵应该具有可加的性质。

  定理1.1：满足上述三个条件的随机变量不确定性度量函数为：
  $$f(p_1,p_2,...p_N)=-C\sum _{n=1}^{N}p(n)log{p}_n$$