信息论简介及概率论复习

2021/11/22 from Xwhite

因为最近信息论要进行期末考试了，所以开始从头预习一下信息论与编码的知识。

信息论简介

点对点通信系统模型

通信的基本问题:在一点精确或近似的恢复另一点所选择的信息

通信的目的:消除不确定性，获得信息。

消息、信号、信息

消息:能被人所感知。消息中包括信息、是信息的载体，是具体的，非物理的；

信号:适合信道传输的物理量。信号携带消息，是消息的运载工具，可测量、可显示、可描述

香农信息的定义

香农信息的定义是事物运动状态或存在方式的不确定性的描述:

• 信息被接受前，具有未知性，不确定性
• 信息在通过通信系统之后，不确定性被完全或部分消除，信宿因此获得了信息

因此，通信过程是一种消除或部分消除不确定性，从而获得信息的过程。

不确定性(信息量)的定性和定量描述

不确定性=信息量

定性描述是指事先猜测某随机时间是否发生的难易程度。概率低的事件发生，获得信息量大；必然事件信息量为0。

定量描述是指随机事件发生所提供的信息量；

不确定性的大小 可以表示为 随机事件概率 的函数

根据上面公式可知

• 不可能事件概率为0，信息量为无穷大
• 必然事件概率为1，信息量为0
• 随机事件概率和自信息成负相关

进一步完善的通信系统模型

信源:产生消息和消息序列的源头。

编码器:将消息变成适合信道传输的物理量

信道:传输、存储信号的媒介

译码器:对干扰 + 信号进行反变换

信宿:消息传递的对象

编码器的概念和作用

编码器:将消息变成适合信道传输的物理量；

信源编码器:通过去冗余提高通信系统的有效性–信息传输应尽可能快，高传输码率，可通过压缩等手段实现。

信道编码器:通过加冗余提高通信系统的可靠性–信息传输应尽可能准备，降低误码率。

调制器:变成适合信号传输要求的信号。

加入编码器和译码器的通信系统模型

信息论的研究目的

• 找到信息传输的共同规律
• 信息论研究通信系统的整个过程，而非单个环节
• 实现在有干扰的情况下，最佳的传送和准确（或近似）再现信息；
• 提高信息传输的有效性，可靠性、安全性
• 关心系统的理论极限和潜能，实现信息传输系统的最优化。

概率论复习

利用矩阵表示概率分布

一维概率分布

联合概率分布

根据联合分布矩阵可以写出边缘分布矩阵P_X，P_Y

边缘分布矩阵的求法：
比如 x₁ 的概率就是将x₁那一列的概率相加即可。

条件概率分布

P(X|Y):在Y条件的情况下X发生的概率

矩阵的每一行的条件概率之和恒为1。

这里我们要明确，谁作为条件，那么就作为行序号

条件概率分布、联合概率分布和边缘概率分布的关系

文字公式描述的是联合概率和边缘概率的关系

下面的公式描述的是条件概率和联合概率的关系

由随机变量X的边缘分布及以X为条件随机变量Y的条件概率分布，可求得结果Y的边缘分布；用矩阵的形式，可以表示为 P_Y=P_XP_Y|X

证明

也可以使用全概率公式理解

常用概率公式