Information Theory 熵的概要

• 信息论三大优点：有效性、可靠性、安全性。
• 香农三大定理：

Lossless source code theorem 可变长无失真信源编码定理

Channel coding theorem 有噪信道编码定理

Limited loss source code theorem - Shannon third theorem 保失真度准则下的有失真信源编码定理

• 通信系统模型：信源---编码---信道----解码----接收（干扰源噪音干扰信道）
• 自信息：

  ；P（x）>=0非负;

  ①P(X）=0，I(X)趋向无穷；对于不可能事件，信息量为无穷；即概率越小，不容易预测，自信息大，不确定性很大；