信息论

http://iwct.sjtu.edu.cn/personal/yingcui/teaching2.html

参考文献
Elements of information theory, T. M. Cover and J. A. Thomas, Wiley

信息论回答了通信理论中的两个基本问题
最终的数据压缩是什么？
熵H
最终的通信传输速率是多少？
通道容量C

香农进行了两项重大修改，对通信设计产生了巨大影响
信源和信道是概率模型
bit成为通信的通行货币

香农证明了以下三个定理

1. 信源的最小压缩率是其熵率H
2. 信道上的最大可靠率是其互信息I
3. 当且仅当H<I时，即通过使用信源和信道编码之间的数字接口不会造成性能损失时，才会发生端到端可靠通信

信道编码定理（shannon第2定理）

对于一个离散无记忆信道，所有小于信道容量C的速率是可以达到的，所有小于大于信道容量C的速率是不可达到的
特别地，对于所有速率R<C，存在一个序列 ( 2 n R , n ) (2^{nR},n) (2