信息论基础

信息论基础知识

• 信息
• 熵，条件熵，KL散度，三者关系
• 信息增益，最大熵原理

信息论

信息论即香农信息论，是研究通信系统极限性能的理论。
首要问题：对信息进行度量

什么是信息？

• 当今是信息社会
• 信息的含义模糊

如何度量信息？

• 一般来说，可判断是否获得信息，但无法准确度量信息。
• 应用数学工具，通过数学运算来度量信息。
  

信息的度量

• 信息的度量和不确定性消除的程度有关
• 不确定性的程度与事件发生的概率有关
• 信息量与概率的关系：
  信息量是概率的单调递减函数
  概率小，信息量大
  概率大，信息量小

自信息量的物理含义

• 自信息量表示事件发生后，该事件给予观察者的信息量。
• 自信息量的大小取决于事件发生的概率。事件发生的可能性越大，它所包含的信息量就越小。反之，事件发生的概率越小，它能提供的信息量就越大。

自信息量需满足的条件