学习笔记-信息论

信息论是一门现代发展起来的学科，通常课程所学的是狭义信息论，即有香农理论基础发展起来的信息论。广义信息论还涉及通信、网络等丰富内涵。

信息论研究的主体为以下过程：

信源-编码器-信道-译码器-信宿

从发出信号的信源，经编码器后在信道中传输，中途会有噪音干扰，到达后经译码器（编码的逆过程），由信宿接收。

这个过程中，有三处可供编码，并对于信息论的研究目的：

信源-信源编码，降低数据冗余，提高效率，增加有效性；

信道-信道编码，加入冗余，提供检错纠错功能，增加完整性；

加密编码，涉及密码学知识，增加安全性；

围绕着信源编码，常用方法包括哈夫曼编码，费诺码，游程码，字典码等。主要思路是将源长的序列经过一系列压缩操作，使序列中每个码字包含信息量最高。

信道编码，常用方法有汉明码，奇偶校验码，循环冗余校验码等。主要思路是在源序列插入一些类似于高速公路“检查点”，经过数学原理可以查出甚至矫正传输中错误的数据。

因此，上述两者编码是互相权衡的，压缩数据提高传输效率，就有可能发生数据出错；而为了数据出错概率尽量的少，那就要冗余度很高，甚至重复发很多次，那样就会造成不效率。科学家研究的就是如何在两者编码中找到理论上最优的方式，这也是信息量研究的方向。