- 信息论三大优点:有效性、可靠性、安全性。
- 香农三大定理:
Lossless source code theorem 可变长无失真信源编码定理
Channel coding theorem 有噪信道编码定理
Limited loss source code theorem - Shannon third theorem 保失真度准则下的有失真信源编码定理
- 通信系统模型:信源---编码---信道----解码----接收(干扰源噪音干扰信道)
- 自信息:
;P(x)>=0非负;
①P(X)=0,I(X)趋向无穷;对于不可能事件,信息量为无穷;即概率越小,不容易预测,自信息大,不确定性很大;