信息论与编码思维导图_信息论-绪论

信息论是人们在长期通信工程的实践中，由通信技术与概率论，随机过程和数理统计相结合而发展起来的一门学科。公认信息论的奠基人是数学家，美国贝尔实验室科学家香农（C.E.Shannon），他在1948年发表著名论文《通信的数学理论》，为信息论奠定理论基础。

1.1 信息的概念

在日常生活中，信息常常被认为就是“信息”，“情报”，“知识”，“情况”等。的确，信息与他们之间有着密切联系。但信息的含义更深刻，更广泛。

情报是人们对于某个特定对象所见，所闻，所理解而产生的知识。它是特定的信息，不是信息的全体。

知识是人们根据某种目的，从自然界收集得来的数据中，整理，概括，提取得到的有价值的，人们所需的信息。知识是一种具有普遍和概括性质的高层次的信息。

消息：用文字，符号，数据，语言，音符，图片，图像等能够被人们感觉感官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。构成消息的各种形式必须具备两个条件：一是能被人们感知和理解，二是可以进行传递和获取。

消息中包含信息，是信息的载体。得到消息，从而获得信息。同一则信息可以用不同的消息形式来载荷。

信息的定义

通信过程是一种消除不确定性的过程。不确定性的消除，就获得了信息。原先的不确定性消除得越多，获得的消息就越多。如果原先的不确定性全部消除了，就获得了全部信息；若消除了部分不确定性，就获得了部分信息；若原先不确定性没有任何消除，就没有获得任何信息。由此可见，信息是事物运动状态或存在方式的不确定性的描述。这就是香农信息的定义

样本空间:我们把某事物各种可能出现的不同状态，即所有可能选择的消息的集合，称为样本空间。每个可能选择的消息是这个样本空间的一个元素。

概率测度：对于离散消息的集合，概率测度就是对每一个可能选择的消息指定一个概率（非负的，且总和为1）

概率空间：一个样本空间和它的概率测度称为一个概率空间

离散情况下的概率空间[X,P]，P(ai)就是选择符号的ai作为消息的概率，称为先验概率

自信息:在接收端，对是否选择这个消息ai的不确定性是与ai的先验概率成反比的，即对ai的不确定性可表示为先验概率P(ai)的倒数的某一函数。我们取该函数为对数函数，并把这样定义的不确定性称为该消息ai的自信息，即

互信息:由于信道中存在干扰，假设接收端收到的消息为bj,这个bj可能与ai相同，也可能与ai有差异。我们把条件概率P(ai|bj)称为后验概率，它是接收端收到信息bj后而发送端发的是ai的概率。

先验的不确定性减去尚存在的不确定性。就是所得到的信息量，定义为互信息.如果信道没有干扰，信道的统计特性使ai以概率1传送的接收端。

以上是香农关于信息的定义和度量。通常也称为概率信息。

香农信息定义的优点

有明确的数学模型和定量计算

设某一事件ai发生的概率等于1，即ai是预料中一定会发生的必然事件，如果ai果然发生了，收信者将不会得到任何信息，因为他早知道ai必定发生，不存在任何不确定性。

香农概率的缺陷：出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。

没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含义，具体用途，重视程度和引起后果等因素。

信息的广义概念：物质，能量，信息是物质世界的三大支柱。信息是物质的属性，但不是物质自身，信息具有相对独立性。信息作为事物运动和相互作用的自身显现，与事物及它们的运动和相互作用一样是永恒的，无限的，动态的。事物每时每刻都在与其他事物的相互作用及自身运动中改变着自身的信息，所以信息永远在产生，演变，更新。而且人类对信源信息的认识也是有时间性的。

1.2 信息论研究的对象，目的和内容

信息论的研究对象是如下的统一的通信系统模型。人们通过系统中消息的传输和处理来研究信号传输和处理的共同规律。

关于信息论的三种的理解

1.狭义信息论，也称经典信息论：它主要研究信息的测度，信道容量及信源和信道编码理论等问题。香农基本理论。

2.一般信息论，也成工程信息论：它主要研究信息传输和处理问题。除了香农理论以外，还包括编码理论，保密理论，噪声理论，信号滤波和预测理论，统计检测和估计理论，调制理论及信息处理理论等。维纳重点在接收端，香农重点在编码上。

3.广义信息论:综合，交叉新兴学科，包括上述两方面，也包括所有与信息相关的自然科学和社会科学领域。如模式识别，计算机翻译等

1.3 信息论发展简史和信息科学

香农信息论建立和发展

1.香农信息理论的数学严格化

2.无失真信源编码定理和技术发展

3.信道纠错编码的发展

4.限失真信源编码的提出和发展

5.多用户，网络信息论的发展

6.信息保密与安全理论的提出和发展

信息论与信息科学

近年新兴的光学信息论，量子信息论，生物信息论或生物信息学都是信息科学的重要分支。