信息与通信工程学科面试准备——信息论与编码｜保研推免面试题

第二章基本信息论

本章介绍了信息量的概念，信息量包括自信息量和互信息量。熵是信息论中非常重要的概念，它分为信源熵、共熵和条件熵，熟悉它们之问的关系以及性质是非常必要的，同时又介绍了离散信源的冗余度。信道是信息传输的重要组成部分，它分为有噪信道、无噪信道、离散信道和连续信道，本章介绍了离散和连续无噪信道的熵速率和信道容量，同时又介绍了离散有噪信道的疑义度、散布度、接收熵速率和信道容量以及连续有噪信道的接收熵速率和信道容量，在这里得出了香农公式。

1 信息量与自信息量、互信息量

(1)信息量定义

信息量(I)=不肯定程度的减小量

也就是说，收信者收到一个消息后，所获得的信息量等于收到消息前后不肯定程度的减小量。

(2)自信息量

自信息量是一个事件(消息)本身所包含的信息量，它是由事件的不肯定程度决定的。不肯定程度与事件发生的概率有关，概率越小，不肯定度越大，那么它获得的信息量也就越大，所以，如果发生事件 $x_{i}$ 的概率为 $p(x_{i})$ ，它的自信息量司以定义为

$I(x_{i})=-logp(x_{i})$

(3)互信息量

用 $x_{i}$ 的后验概率与先验概率的比值来表示 $y_{i}$ 关于 $x_{i}$ 的信息量，也就是互信息量，用表示 $I(x_{i}:y_{j})$ 表示，公式为：

互信息量 $I(x_{i}:y_{j})$ 实际上就是已知事件 $y_{i}$ 后，所消除的关于事件 $x_{i}$ 的不肯定性，它等于事件 $x_{i}$ 本身的不肯定性 $I(x_{i})$ 减去已知事件 $y_{j}$ 后对 $x_{i}$ 仍然存在的不肯定性 $I(x_{i}|y_{j})$ 。

2 自信息量的单位与所用对数的底的关系

(1)以2为底

通常取对数的底为2，信息量的单位为比特(bit，binary unit)。比特是信息论中最常用的信息量的单位，当取对数的底为2时，2常常省略，即用 $log$ 表示 $log_{2}$ 。

注意：计算机术语中bit是位的单位(bit, binary digit)，与信息量的单位不同。

(2)以e为底

若取自然对数（以e为底），自信息量的单位为奈特(nat，natural unit)。理论推导或用于连续信源时用以e为底的对数比较方便。

$1 nat=log_{2 }ebit=1.443bit$

(3)以10为底

工程上用以10为底较方便。若以10为对数底，则信息量的单位为哈特莱帜(Hartley)。这是用来纪念哈特莱首先提出用对数来度量信息的。

$1Hartley=log_{2}10bit=3.322bit$

3 熵的定义

信源具有不肯定性，所以把信源用随机变量X来表示。这样随机变量X的每一个可能取值的自信息量 $I(x_{i})$ 的统计平均值为随机变量X的平均自信息量，也就是随机变量自信息量 $I(x_{i})$ 的数学期望为平均自信息量，用H(X)来表示，表达式为

$H(X)=E[I(x_{i})]=-\sum_{i=1}^{N}p(x_{i})logp(x_{i})$

中的N为X的所有可能取值的个数。

离散信源的熵

实际上，平均自信息量又称为信息熵或信源熵，简称为熵，所以熵也用H(X)来表示。离散信源熵的表达式与平均自信息量是相同的，即离散信源熵H(X)的表达式为：

$H(X)=-\sum_{i=1}^{N}p(x_{i})logp(x_{i})$

若概率空间的状态数为N，等概时的概率为P=1/N，这是的离散信源熵为

$H(X)=-logP=logN$

熵的单位由自信息量的单位决定，即取决于对数选取的底数，一般选取用以2为底的。一般情况下，信源熵并不等于收信者平均获得的信息量，只有在无噪的情况下，收信者才能正确无误地接收到信源所发出的消息，全部消除了H(X)大小的平均不肯定性，所以获得的平均自信息量就等于H(X)。而一般情况下，因为干扰和噪声的存在，收信者不能全部消除信源的平均不肯定性，获得的信息量将小于信源熵。

熵函数的性质

(1)熵函数H(X)具有非负性；

(2)熵函数H(X)是P(X)的连续函数；

(3)状态数为N，等概时，熵函数H(X)为N的单调增函数。

4 关于冗余度的定义

(1)相对熵

信源的实际熵H(X)与其最大可能熵Hmax(X)的比值定义为相对熵，用 $\eta$ 表示：

$\eta =\frac{H(X)}{Hmax_{(X)}}$

(2)冗余度

定义(1)与相对熵的差为冗余度，用E表示：

$E=1-\frac{H(X)}{Hmax_{(X)}}$

(3)信息变差

信息变差又称为内熵，信源最大可能熵与实际熵之差定义为信息变差，用 $I_{0\infty }$ 表示：

$I_{0\infty }=Hmax(X)-H(X)$

相对熵，冗余度和信息变差都可以表示信源的冗余度情况。

5 信道容量

信道容量就是指信道对信源的一切可能的概率分布而言能够传送的最大熵速率，用C表示，其单位为bit/s。

离散信道的信道容量（离散无噪信道的信道容量）

在离散信道中，消息来源于离散信源，离散信源如果有N符号，符号间无相关性且等概分布时，则其输出熵最大，表达式为：

如果离散信道每秒最多传送n个信源符号，则最大熵速率为：

由信道容量的定义就可以得出信道容量C为：

那么当N=2，即只有两个符号（如“0”和“1”）的二元离散信源时，则信道容量为

这说明，二元信道的信道容量就等于每秒传送的符号数n。

6 共熵、条件熵与信源熵之间的关系

**选择题**H(X)，H(Y)为信源熵，H(Y|X)为条件熵，所以共熵、条件熵与信源熵之间的关系为:

H(XY)=H(X)+H(Y|X)

H(XY)=H(Y)+H(Y|X)

7 熵速率

信源在单位时间内输出的熵称为信源的熵速率，又称信息速率或传信率，用表示。根据信源的分类，熵速率也可以分为离散信源的熵速率和连续信源的熵速率。

连续信源的熵速率

连续信源的熵就是连续信源平均每个样值的熵，它完全由信源概率分布密度 $p(x)$ 来描述。由前面的分析可知连续信源的熵可表示：

**选择题**如果信源输出信号的带宽有限，最大为W，则根据采样定理，为了采样后不丢失任何信息，其采样率至少应为2W/s，因此连续信源的熵速率H‘(X)为

**选择题**如果信道每秒传输的消息数为n/s，则收信者接收到的熵速率R为

8 平均互信息与信源熵，条件熵之间的关系

选择题

I(X;Y)=H(X)-H(X|Y)

I(X;Y)=H(Y)-H(Y|X)

I(X;Y)=H(X)+H(Y)-H(XY)

9 概率分布和不肯定程度间的关系

信源概率空间的概率分布与不肯定程度之间的关系：一个信源可以用概率空间描述，它的不肯定程度可以用这个概率空间的可能状态及概率来描述。事件发生的概率越大，不肯定性就越小；而事件发生的概率越小，不肯定性就越大；对于发生概率等于1的必然事件，则不存在不肯定性。

10 哈特莱对度量信源不肯定度公式

哈莱特(R. V. L. Hartley)首先定义了度量信源不肯定度的公式，他指出：应该用信源概率空间的概率的倒数的对数来度量不肯定程度，也就是不肯定度与概率的倒数的对数成比例，即

$H(X)=Klog\frac{1}{p}$

通常令K=1，则

$H(X)=log\frac{1}{p}=-logp$

第二章练习题

一、填空题

1. 某事件x发生的概率为p(x)＝l，则此事件不存在（存在或不存在）不肯定性。

2. 信息量的单位与所用对数的底有关，当取以2为底时，单位为 bit ；取自然对数e时，单位为 nat ；取以10为底时，单位为Hartley。

3. 一离散信源输出二进制符号，在信源等概率分布的条件下，每个二进制符号携带1bit信息量，在不等概率分布的条件下，每个二进制符号携带额信息量小于1bit。

4. 二元信源由0和1两个符号构成，信源符号等概率分布，且符号之间无相关性，如果发送12个符号，这12个符号所含朗信息量为12bit 。

5. 离散二元符号序列中的各个符号概率为 $p_{i}$ ，则自信息量 $I_{I}=-logp_{i}$ 。

6. 一输出为A、B、C和D的四个符号的信源，等概输出时，信源熵为 2bit 。

7. 若信源熵为 $H(X)$ ，信源熵的最大值为 $Hmax(X)$ ，那么冗余度E可表示为 $E=1-\frac{H(X)}{Hmax_{(X)}}$ ，内熵可表示为 $Hmax(X)-H(X)$ 。

8. 以二元离散信源为例，它由0和1两个符号构成，此信源传输时经过离散信道，信道每秒最多传送5个信源符号，则信道容量为5bit 。

二、选择题

见标记**选择题**

三、计算题

alwaysuzybai

关注

6
点赞
踩
38

收藏

觉得还不错? 一键收藏
0
评论
信息与通信工程学科面试准备——信息论与编码｜保研推免面试题

调制就是把信号形式转换成适合在信道中传输的一个过程。可分为基带调制和载波调制。我们这里所说的调制都是载波调制。载波调制就是把调制信号“骑”到载波上，方法就是用调制信号去控制载波的参数，使载波的一个参数或者几个参数按照调制信号的规律变化。调幅和调频都比较容易理解，一个是幅度的变化AmplituM，一个是频率的变化FM。那怎么又多出来一个QAM呢？QAM就是正交幅度调制。在通信这个学科里面，正交是指这两个信号有90°的相位差。也就是在QAM里面，既有相位调制，又有幅度调制。
复制链接

扫一扫