通信原理&信息论 day1:术语;数字系统基本组成;信息量

1.通信的术语

通信的目的:传递消息中包含的信息
通信系统的目的:克服某种障碍,实现信息高效、准确的传递。
狭义的通信系统:利用电信号和光信号来传递信息的电通信、光通信或电光混合。
信息:消息中包含的有意义的内容,即包含受信者原来不知而待知的有效内容。
消息:信息的物理表现形式
消息是信息的载体,信息是消息的内涵
形式化:通信的基本任务是在接收端把发送端发出的消息从形式上恢复出来,而对消息内容的理解和判断则不是通信的任务。
非决定论:通信过程传递的消息中所包含的内容对接收者来说事先无法预料的。
不确定性收到该消息之前,对其中的内容出现与否具有不确定的因素。

2.数字系统的基本组成

在这里插入图片描述

3.信息量,熵,联合熵

关于信息的几点讨论:
(1)消息中所包含的信息量与消息发生的概率密切相关,而与消息的种类和重要程度无关。
(2)不同形式的消息可以包含相同的信息
(3)消息出现的概率越小,所包含的信息量就越大;消息出现的概率越大,所包含的信息量就越小。当消息出现的概率为1时,信息量为0.
(4)若干个互相独立事件构成的消息,所含信息量等于各独立事件信息量之和。

信息量
在这里插入图片描述

在这里插入图片描述
熵最大值
在这里插入图片描述
此时各符号的出现没有任何倾向性,相应地最难以猜测可能出现的是哪个符号,因此具有最大的不确定性。

熵最大值的意义
等概信源的熵具有最大值的思想,可以指导我们对传输的符号进行某种变换或组合编码,使编码后的码元或码组具有等概或接近等概的特性,这样传输的每个码元或码组就能够携带最多的信息,从而提高信息传输的效率

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页