信息论与编码题库

最新推荐文章于 2024-01-06 01:56:53 发布

cy941228

最新推荐文章于 2024-01-06 01:56:53 发布

阅读量2.8w

点赞数 23

本文链接：https://blog.csdn.net/cy941228/article/details/53367459

版权

1.1 第2章

1.1.1 选择题

1. 同时掷两个正常的骰子，各面呈现的概率都是1/6，则“两个1同时出现”事件的自信息量是（）。

A、4.17bit B、5.17bit C、4.71bit D、5.71bit

解答：B。

2. 设信源概率空间为，则此信源的熵为（）三进制信息单位/符号。

A、1 B、2 C、3 D、4

解答：A。

3. 三个离散信源，其中（）的熵最大。

A、X B、Y C、Z D、一样大

解答：A。

4. 下列离散信源，熵最大的是（）。

A、 B、 C、 D、

解答：D。

5. 设x是一个离散随机变量，和，与关系是（）。

A、H(y₁)≥H(y₂) B、H(y₁)≤H(y₂) C、H(y₁)<H(y₂) D、H(y₁)>H(y₂)

解答：A。

6. 熵函数是的（）函数。

A、上凸 B、下凸 C、非凸 D、以上都不对

解答：A。

1.1.2 填空题

1. 冗余度来自两个方面：一是；二是。

解答：信源符号之间的相关性；信源符号分布的不均匀性。

2. 四进制脉冲所含的信息量是二进制脉冲的倍；八进制脉冲所含的信息量是二进制脉冲的倍。

解答：2；3

3. 一幅充分洗乱的牌（含52张牌），任一特定排列所给的信息量为 bit，若从中抽取13张，所给的牌点数都不相同，能得到的信息量为 bit。

解答：log52！；9.4793。

4. 信息不增性指的是经过分类或归并性信息处理后，信息。

解答：只可能减少，不可能增加。

5. 互信息量为两个不确定度之差，是不确定度部分，代表已经。

解答：被消除的；被确定的部分。

1.1.3 问答题

1. 什么是疑义度？什么叫噪声熵？

解答：条件熵H(X/Y)可看作由于信道上的干扰和噪声的缘故，接收端获得Y后还剩余的对信源符号X的平均不确定度，故称为疑义度。条件熵H(X/Y)可看作唯一地确定信道噪声所需要的平均信息量，故称为噪声熵或散布度。

2. 简述离散信源的最大熵定理。对于一个有m个符号的离散信源，其最大熵是多少？

解答：离散信源的最大熵定理：在离散情况下，集合X中的各事件等概率发生时，熵达到极大值，即。集合中元素的数目m越多，其熵值就越大。一个有m个符号的离散信源，其最大熵为logm。

3. 什么叫信源的冗余度？它主要来自哪两个方面？

解答：信源的冗余度又称剩余度，表征信源信息率多余程度的一个物理量，描述的是信源的相对剩余。冗余度来自两个方面，一是信源符号间的相关性，另一方面是信源符号分布的不均匀性。

1.1.4 计算题

1. 一阶马氏链信源有三个符号{u₁,u₂,u₃}，转移概率为：p(u₁/u₁)＝1/2，p(u₂/u₁)＝1/2，p(u₃/u₁)＝0，p(u₁/u₂)＝1/3，p(u₂/u₂)＝0，p(u₃/u₂)＝2/3，p(u₁/u₃)＝1/3，p(u₂/u₃)＝2/3，p(u₃/u₃)＝0。画出状态图，并求出各符号稳态概率。

解答：一阶马氏链具有3个状态，状态图如图2.1所示。

设各状态的稳态概率，则得：

求解上述方程组可得

2. 由符号集{0，1}组成的二阶马氏链，转移概率为：p(0/00)＝0.8，p(0/11)＝0.2，p(1/00)＝0.2，p(1/11)＝0.8，p(0/01)＝0.5，p(0/10)＝0.5，p(1/01)＝0.5，p(1/10)＝0.5。画出状态图，并计算各状态的稳态概率。

解答：二阶马氏链的状态m^k＝2²＝4，状态图如图所示。设各状态的稳态概率为p(00)、p(01)、p(10)、p(11)，则

解得上述方程组得到。

3. 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”这事件的自信息量；（2）“两个1同时出现”这事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量；（4）两个点数之和（即2,3,…,12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。

解答：（1）“3和5同时出现”的概率为，则该事件的自信息量为。

（2）“两个1同时出现”的概率为，则该事件的自信息量为

（3）两个点数的各种组合的熵为

（4）两个点数之和的熵为

（5）两个点数中至少一个是1的自信息量为。

4. 设在一只布袋中装有100只对人手的感觉完全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列三种情况：（1）红色球和白色球各50只；（2）红色球99只，白色球1只；（3）红、黄、蓝、白色各25只。试求分别求出从布袋中随意取出一只球时，猜测其颜色所需要的信息量。

解答：（1）红色球和白色球各50只，此时p(红球)=1/2，p(白球)=1/2，从布袋中随意取出一只球时，猜测其颜色所需要的信息量为。

（2）红球99只，白球1只，此时p(红球)=99/100，p(白球)=1/100，从布袋中随意取出一只球，猜测其颜色所需要的所需信息量为。

（3）红、黄、蓝、白球各25只，此时p(红球)=1/4，p(黄球)=1/4，p(蓝球)=1/4，p(白球)=1/4，从布袋中随意取出一只球，猜测其颜色所需要的所需信息量为。

5. 掷两粒骰子，当其向上的面的小圆点数之和是3时，该事件所包含的信息量是多少？当小圆点数之和是7时，该事件所包含的信息量又是多少？

解答：“小圆点数之和是3”有这样2种情况：1-2,2-1，则该事件发生的概率为，该事件所包含的信息量为。

“小圆点数之和是7”有这样6种情况：1-6,6-1,2-5,5-2,3-4,4-3，则该事件发生的概率为，该事件包含的信息量为。

6. 设有一离散无记忆信源，其概率空间为，试：（1）求每个符号的自信息量；（2）若信源发出一消息符号序列为(202 120 130213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。

解答：（1）符号x₁的自信息量为。

同理可求得符号x₂和号x₃的自信息量为

符号x₄的自信息量为。

（2）该消息序列共包含45个符号，即14个x₁、13个x₂、12个x₃和6个x₄，则该消息序列的自信息量为。

平均每个符号携带的信息量为。

7. 设某一信源A有6个状态，其概率分布为p(a_i)={0.5,0.25,0.125,0.05,0.05.0.025}，求：（1）信源A的信息熵H(A)；（2）消息a₁a₂a₁a₂a₂a₁和a₆a₄a₄a₆a₄a₆的信息量（设信源发出的符号相互独立）；（3）将（2）中的信息量与长度为6的消息序列信息量的期望值作比较。

解答：（1）信源A的熵为H(A)=H(0.5,0.25,0.125,0.05,0.05,0.025)=1.94bit/符号

（2）消息a₁a₂a₁a₂a₂a₁所含的信息量为

消息a₆a₄a₄a₆a₄a₆的信息量为

3）6位长消息序列的信息量期望值为

可以看出，。

8. 一个袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求：（1）一次实验包含的不确定度；（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度；（4）第二次实验Y包含的不确定度；

解答：（1）摸一次球的概率为p(b_l)=1/3，p(w)=2/3，则一次实验包含的不确定度即为一次实验包含的自信息量为。

（2）第一次实验摸出的是黑球，第二次实验给出的不确定度即为条件熵。此时条件概率为，，条件熵为：

（3）第一次摸出的是白球，第二次实验给出的不确定度即为。此时，条件概率为，，条件熵为：

（4）第二次实验包含的不确定度为即为条件熵，

9. 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，…，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。（1）若仅对颜色感兴趣，计算平均不确定度；（2）若仅对颜色和数字都感兴趣，计算平均不确定度；（3）如果颜色已知时，计算条件熵。

解答：（1）各颜色出现的概率为，，。仅对颜色感兴趣，又因为平均不确定在数值上等于平均自信息量，则平均不确定为：

（2）由于颜色是对应某一数字的，只要已知数字即可知道颜色，因而对颜色和数字都感兴趣只需考虑数字即可，则平均不确定度为：

显然，此时条件熵H(颜色/数字) = 0。

（3）如果颜色已知时，条件熵H(数字/颜色)为：

10. 两个试验X和Y，X＝{x₁，x₂，x₃}，Y＝{y₁，y₂，y₃}，联合概率如下所示，试：（1）如果有人告诉你X和Y的试验结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的试验结果，你得到的平均信息量是多少？（3）在已知Y试验结果的情况下，告诉你X的试验结果，你得到的平均信息量是多少？

解答：（1）如果已知X和Y的试验结果，得到的平均信息量为联合熵H(XY)，直接利用所给的联合概率矩阵，得到

（2）如果已知Y的试验结果，得到的平均信息量为H(Y)。因此，需要计算Y的概率分布。Y的概率分布{p(y₁), p(y₂), p(y₃)}计算方法为，可求得：

那么，

（3）已知Y试验结果的情况下，告知X的试验结果，得到的平均信息量即为条件熵H(X/Y)。H(X/Y)的求法有2种：

解法1：

解法2：

11. 设以8000样值/s的速率对某语音信号进行抽样，并以M=256级对抽样值均匀量化。设抽样值取各量化值得概率相等，且各抽样值之间相互统计独立，求：（1）每个抽样值所包含的平均自信息量；（2）该语音信源的信息输出率。

解答：（1）由题意，采样率为每秒8000次，量化级数为256，则每个抽样值所包含的平均自信息量为。

（2）该语音信源的信息输出率为。

12. 布袋中有手感完全相同的3个红球和3个蓝球，每次从中随机取出一个球，取出后不放回布袋。用X_i表示第i次取出的球的颜色，i=1,2,….,6，求：（1）、和；（2）随k的增加，条件熵是增加还是减少？请解释。

解答：1）由题意知，P(第一个球是红球)=P(第一个球是蓝球)=0.5，因此。

P(第二个球是红球)=P(第二个球是蓝球)=0.5，则。

H(X₂/X₁)=P(第一个球是红球)*H(X₂/第一个球是红球)+P(第一个球是篮球)*H(X₂/第一个球是蓝球)=0.5H(2/5)+0.5H(2/5)=0.971bit/符号

2）条件熵随着k的增加而减少，因为知道以前的结果会降低这次结果的不确定性，以前的结果知道的越多，这次结果的不确定性就越小，直到。

13. X是一离散随机变量，f是定义在X上的实函数，证明：H(X) ³ H[f(X)]成立，当且仅当f是集合{x：p(X=x)>0}上一对一的函数时取等号。

解答：由于f(X)是定义在X上的实函数，所以f(X)的定义域必定小于等于X的定义域，所以f(X)的不确定度小于等于X的不确定度，即H[f(X)]≤H[X]。只有当f(X)在X的集合上均有定义，且一一对应，没有相同定义时，f(X)的不确定度等于X的不确定度。

14. 一个信源发出二重符号序列消息X₁X₂，其中第一个符号X₁可以是A，B，C中的任一个，第二个符号X₂可以是D，E，F，G中的任一个。已知各个概率p(x_1i)和p(x_2j/x_1i)的值如下表所示，求这个信源的熵（即联合熵H(X₁X₂)）。

p(x_1i)		A	B	C
p(x_1i)		1/2	1/3	1/6
p(x_2j/x_1i)	D	1/4	3/10	1/6
	E	1/4	1/5	1/2
	F	1/4	1/5	1/6
	G	1/4	3/10	1/6

解答：由题意，各条件概率已给出，可以求得联合概率，然后直接应用联合熵的定义式计算H(X₁X₂)。联合概率为如表所示。

		A	B	C
P(ij)	D	1/8	1/10	1/36
	E	1/8	1/15	1/12
	F	1/8	1/15	1/36
	G	1/8	1/10	1/36

15. 有一个马尔可夫信源，已知转移概率为p(s₁/s₁)＝2/3，p(s₂/s₁)＝1/3，p(s₁/s₂)＝1，p(s₂/s₂)＝0。试求出信源熵。

解答： ，

由方程组求解得。

极限平均符号熵。

16. 一阶马尔可夫信源的状态图如图所示，信源X符号集为{0，1，2}。（1）求平稳后的信源的概率分布；（2）求信源熵H_¥；（3）求当p＝0或p＝1时信源的熵，并说明其理由。

解答：（1）转移概率矩阵为，

由此可以列出方程组，计算得平稳后的信源的概率分布为1/3，1/3，1/3；

（2）同上题，由状态图可求出信源熵H_¥=H(p,1-p)；

（3）当p＝0或p＝1时信源的熵为0，因为此时的信源为确定性信源。

17. 一个信源以相等的概率及1000码元/秒的速率把“0”和“1”码送入有噪声信道，由于信道中噪声的影响，发送为“0”接收为“1”的概率是1/16，而发送为“1”接收为“0”的概率是1/32，求收信者接收的熵速率。（提示：熵速率R=nI(x；y)）

解答：

利用贝叶斯公式得：

同理可得，所以

因此，熵速率。

18. 某一阶马尔可夫信源的状态转移如图所示，信源符号集为X：{0,1,2}，并定义。试求：（1）信源的极限熵H_¥；（2）p取何值时H_¥取最大值。

解答：（1）从图中可以看出，该马尔可夫信源的一步转移矩阵为，可得

计算得，则得

所以，信源熵为

（2）因为

求其对p的一阶导数

令，得。所以当时，信源的极限熵达到最大值。

19. 三状态马尔可夫信源状态转换图如图所示，试：（1）列出状态转移概率矩阵；（2）列出符号条件概率矩阵；（3）求出稳定后的状态概率分布；（4）求出稳定后的符号概率分布；（5）计算无穷熵。

解答：（1）状态转移概率矩阵为

（2）符号条件概率矩阵

（3）稳定后的状态概率分布。

（4）稳定后的符号概率分布为

，。

（5）计算极限熵。

20. 已知一阶马尔科夫信源，其转移概率矩阵为，试：（1）求出稳定后的状态概率分布；（2）计算该马尔可夫信源的极限熵。

解答：（1）设该信源的稳定状态概率为，联立方程，求解该方程组可以得到。

（2）因为，，根据马尔可夫信源极限熵的计算公式可得极限熵为：

21. 有两个同时输出消息的信源X和Y，第一个信源X能输出a,b,c三个消息，第二个信源Y能输出d,e,f,g四个消息，信源X各消息出现的概率为，信源Y各消息出现的条件概率为p(y/x)如表2.1所示，求联合信源的熵、条件熵及、和。

p(y/x)	X	a	b	c
Y	d	1/4	3/10	1/6
	c	1/4	1/5	1/2
	e	1/4	1/5	1/6
	f	1/4	3/10	1/6

解答：设信源X，Y输出的每一对消息出现的联合概率为p(xy)=p(x)×p(y/x)，由题意可得联合概率的计算结果如表所示。

p(xy)

1/8

1/10

1/15

1/10

1/36

1/12

1/36

根据联合熵的计算公式可得：

信源X的熵

条件熵

信源y输出符号d的概率

同理可求出e，f和g的概率为：

，，

因此，可计算得到：

1.2 第3章

1.2.1 选择题

1. 在有扰离散信道上传输符号1和0，传输过程中每100个符号发生一个错传的符号。已知P(0)＝1/2，P(1)＝1/2，信道每秒钟内允许传输1000个符号，则该信道的信道容量为（）。

A、230bit/s B、460bit/s C、840bit/s D、920bit/s

解答：D。

2. 某一待传输的图片约含2.25×10⁶个象元，为了很好地重现图片，需要12个亮度电平。假设所有这些亮度电平等概率出现，设信道中信噪比位30dB，则用3分钟传送一张图片时所需的信道带宽为（）。

A、8.96kHz B、4.48kHz C、2.48kHz D、2.4kHz

解答：B。

3. 离散无损信道指的是熵（）为0的信道。

A、 B、 C、 D、

解答：C。

4. 离散无噪信道指的是熵（）为0的信道。

A、 B、 C、 D、

解答：A。

5. 无干扰信道指的是信道的概率特性满足（）。

A、p(x/y)=0 B、p(xy)=0 C、p(y/x)=0 D、以上都不对

解答：C。

1.2.2 填空题

1. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式。

解答：。

2. 当为－1.6dB时，归一化信道容量为。即信道完全丧失了通信能力。我们把－1.6dB称作，是一切编码方式所能达到的理论极限。

解答： 0；香农限。

3. 离散单消息对称信道，其信道容量C等于。

解答：求最佳输入分布时的最大输出熵。

4. 条件熵H(X/Y)称为损失熵，即信道疑义度，表示信源符号通过后所引起的信息量的损失。

解答：有噪信道传输。

5. 条件熵H(Y/X)称为噪声熵，它反映了信道中。

解答：噪声源的不确定性。

1.2.3 名词解释

1. 信道容量

解答：对于某特定信道，若转移概率p(b_j/a_i)已经确定，则互信息就是关于输入符号分布概率p(a_i)的上凸函数，也就是能找到某种概率分布p(a_i)，使I(X;Y)达到最大，该最大值就是信道所能传送的最大信息量。

2. 高斯白噪声加性信道

解答：高斯白噪声加性波形信道是指加入信道的噪声是限带的加性高斯白噪声，其均值为0，功率谱密度为N₀/2。

3. 香农限

解答：带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式；当归一化信道容量趋近于零时，也即信道完全丧失了通信能力，此时为-1.6dB，称作香农限，是一切编码方式所能达到的理论极限。

4. 频带利用率

解答： 称为单位频带的信息传输率，即频带利用率。该值越大，信道就利用得越充分。

1.2.4 计算题

1. 设二进制对称信道的概率转移矩阵为，（1）若p(x₀)＝3/4，p(x₁)＝1/4，求H(X)、H(X/Y)、H(Y/X)和I(X；Y)。（2）求该信道的信道容量及其达到信道容量时的输入概率分布。

解答：（1）输入X的熵为。

条件熵H(Y/X)为：

由求出联合概率，而，再利用公式求出。

因此，。

（2）信道容量。

若要达到信道容量，那么输入应为等概分布，即p(x_i)=0.5。

2. 某信源发送端有2个符号，x_i，i=1,2，p(x₁)=a，每秒发出一个符号。接收端有3种符号y_j，j=1,2,3，转移概率矩阵如下。（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度H(Y/X)；（3）计算信道容量。

解答：（1）由求出，再由求出p(y_j)。

根据公式，接收端的平均不确定度为：

（2）由于噪声产生的不确定度为：

(3)由信道容量的定义可得

由，可得a=0.6，所以，信道容量C=0.16 bit/符号。

3. 在有扰离散信道上传输符号1和0，在传输过程中每100个符号发生一个错传的符号。已知P(0)＝1/2，P(1)＝1/2，信道每秒钟内允许传输1000个符号。求此信道的信道容量。

解答：由题意可得该信道的概率转移矩阵P为，可以先求出单个符号传输时的速率为：

则此时信道容量为C=0.919×1000=919 bit/s。

4. 求如图中信道的信道容量及其最佳输入概率分布。并求当＝0和1/2时的信道容量。

解答：由图可知该信道是对称DMC信道，根据对称DMC信道容量的计算公式可求出：

当ε=0时，C=1.58bit/符号；当ε=1/2时，C=1bit/符号。

5. 求下列两个信道的容量，并加以比较。

（1）（2）

解答：（1）将分解，可得和。利用公式，可以求出该信道的信道容量C₁为：

(2) 将分解，可得和，利用公式可以求出该信道的信道容量C₂为：

由于，所以C₁<C₂。

6. 发送端有3种等概符号(x₁,x₂,x₃)，p(x_i)=1/3，接收端收到3种符号(y₁,y₂,y₃)，信道转移概率矩阵为。求：（1）接收端收到一个符号后得到的信息量H(Y)；（2）计算噪声熵H(Y/X)；（3）计算当接收端收到一个符号y₂的错误概率；（4）计算从接收端看的平均错误概率；（5）计算从发送端看的平均错误概率；（6）从转移矩阵中你能看出该信道的好坏吗？（7）计算发送端的H(X)和H(X/Y)。

解答：（1）由求出，由，可得

（2）噪声熵H(Y/X)为：

（3）当接收端收到一个符号y₂的正确概率为，相应的错误概率为。

（4）同理，可计算出接收端收到符号y₁和y₃的正确概率分别为，则相应的错误概率分别为。

则从接收端看的平均错误概率为。

(5) 从发送端看的平均错误概率为Σp(x_i)(1-p(y_j/x_i))=0.73

(6) 由于p(x₃/y₃)=0，该信道传输的错误概率较大，所以较差；

（7）

7. 具有6.5MHz带宽的某高斯信道，若信道中信号功率与噪声功率谱密度之比为45.5，试求其信道容量。

解答：由题意，信号功率与噪声功率谱密度之比为P/N=45.5MHz，代入公式计算可得：

8. 已知一个信道的信道矩阵为，传输一个符号所需的时间为1毫秒，求该信道能通过的最大速率。

解答：该信道的信道容量为：

传输一个符号所需的时间为1毫秒，则该信道能通过的最大速率为0.1×1000＝100bit/s

9. 电视图象由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图象每秒发送30帧图象。为了获得满意的图象质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。

解答：由题意知每帧电视图像中各像素的变化有M=10³⁰⁰⁰⁰⁰种，则每帧图像所包含的信息量为：

每秒发送30帧图像，则信道容量为。

为获得满意的图像质量，信噪比要求为30dB，则利用公式求出所需的带宽为：

10. 设某信源输出A、B、C、D、E五种符号，每个符号独立出现，出现的概率分别为1/8,1/8,1/8,1/2,1/8。如果符号的码元宽度为0.5us。计算：（1）信息传输速率R_t；（2）将这些数据通过一个带宽为B=2000KHz的加性高斯白噪声信道传输，噪声的单边功率谱密度为n₀=10^-6W/Hz。试计算正确传输这些数据最少需要的发送功率P。

解答：（1）信息传输速率为，其中，则

（2）由香农公式，得，所以，即正确传输这些数据至少需要的发送功率为。

11. 一个平均功率受限制的连续信道，其通频带为1MHz，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）若信道通频带减小为0.5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？

解答：(1) 信道上的信号与噪声的平均功率比值为10，即SNR=10，代入利用香农公式，可得

（2）SNR=5，代入公式可得

（3）将W的值代入公式，可得SNR=120。

12. 设某一信号的信息输出率为5.6kbps，噪声功率谱为N=5×10^-6mW/Hz，在带宽B=4KHz的高斯信道中传输。试求无差错传输需要的最小输入功率P是多少？

解答：由信道容量和带宽、信号噪声比的关系式可得：

即要求才能使信号无差错传输，此时。

13. 图片传输中，每帧约为2.25*10⁶个像素，为能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送40帧图片所需要的信道带宽（信噪功率比为40dB）。

解答：亮度电平等概分布，则每个象素携带的信息量为log16（bit/pixel），则每秒需传送的信息速率为：

由题意知信噪功率比，信道容量为，则每秒传送40帧图片所需的信道带宽。

14. 若已知两信道C₁和C₂的信道转移概率矩阵分别为和，试求：（1）C₃=C₁·C₂时，信道转移概率矩阵P=？并问其容量是否发生变化？（2）C₄=C₂·C₁时，它能否构成信道？为什么？

解答：（1）两信道C₁和C₂级联为C₃后，信道C₃的转移概率矩阵为：

由此可出，转移概率矩阵P不变，所以信道容量不变。

（2）C₂C₁不能级连构成信道，因为C₂的输出符号数不等于C₁的输入符号数。

15. 设某语音信号{x(t)}，其最高频率为4kHz，经取样、量化后编成等长码，设每个样本的分层数为128。（1）求此语音信号的信息传输速率是多少（比特/秒）；（2）把这一语音信号送入一噪声功率谱为，带宽为4kHz的高斯信道中传输，试求无差错传输时需要的最小输入功率。

解答：（1）考虑每一层是等概分布，则每个采样点含有的信息量为。

因为最高频率为4kHz，取样速率为8kHz，所以此语音信号的信息传输速率为

（2）无差错传输时需要满足，则

所以，无差错传输时需要的最小输入功率为。

1.3 第4章

1.3.1 选择题

1. 已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为，则信源的最大平均失真度D_max为（）。

A、1/3 B、2/3 C、3/3 D、4/3

解答：D

2. 率失真函数的下限为（）。

A、H(U) B、0 C、I(U;V) D、没有下限

解答：B

3. 若信源要求无失真地传输，则信息传输率至少应（）。

A、大于0 B、等于信源的信息熵

C、大于信源的信息熵 D、以上都不正确

解答：B

4. 以下关于R(D)函数的说法，不正确的是（）。

A、R(D) 是关于D的上凸函数 B、R(D)在区间(0, D_max)上是严格递减函数

C、R(D)是非负函数 D、R(D)的值域为[0, H(X)]

解答：A

5. 以下有关信息率失真函数和信道容量的比较，错误的是（）。

A、信道不同，信道容量就不同

B、信源不同，信息率失真就不同

C、信道中由于噪声干扰消失的信息量为H(Y/X)，信源压缩损失的信息量为H(Y/X)

D、信道中由于噪声干扰消失的信息量为H(X/Y)，信源压缩损失的信息量为H(X/Y)

解答：C。

1.3.2 填空题

1. 对于离散信源，无失真时R(0)= ，对连续信源R(0)= 。

解答：H(p)；¥。

2. 信息率失真函数的意义是，对于给定的信源，在满足保真度准则的前提下，信息率失真函数R(D)是信息率允许。

解答：；压缩到的最小值。

3. 信息率失真函数R(D)定义是，其物理意义是。

解答：；对于给定的信源，在满足保真度准则的前提下，信息率失真函数R(D)是信息率允许压缩到的最大值。

4. 信息率失真函数R(D)的定义域为[0, D_max]，其中D_max是。

解答：所有满足R(D)=0中D的最小值。

5. 信息率失真函数R(D)是关于D的函数。

解答：下凸。

1.3.3 计算题

1. 设有一个二元等概率信源X＝{0，1}，p₀=p₁=1/2，通过一个二进制对称信道（BSC）。其失真函数d_ij与信道转移概率P_ij分别定义为，。试求失真矩阵d和平均失真。

解答：由题意知，可列出失真矩阵，平均失真。

2. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为P＝(1/2，1/2)，失真函数为d(0，0)=d(1，1)= 0，d(0，1)=1，d(1，0)=2。试求D_min、D_max和R(D_min)、R(D_max)以及相应的编码器转移概率矩阵。

解答：由失真矩阵，可得D_min=0，此时，相应的转移概率矩阵为；

，R(D_max)=0，相应的转移概率矩阵。

3. 设输入符号表与输出符号表为X＝Y＝{0，1，2，3}，且输入信号的分布为p(X = i ) = 1/4，i＝0，1，2，3，设失真矩阵为，求D_min、D_max和R(D_min)、R(D_max)以及相应的编码器转移概率矩阵。

解答：由失真矩阵，可得D_min＝0，，相应的转移概率矩阵为；

R(D_max)=0，相应的转移概率矩阵为（只是其中的一种）。

4. 设输入信号的概率分布为P＝(1/2，1/2)，失真矩阵为。试求D_min、D_max和R(D_min)、R(D_max)以及相应的编码器转移概率矩阵。

解答：由失真矩阵可得D_min=0，，相应的转移概率矩阵为；

，R(D_max)=0，相应的转移概率矩阵为。

1.4 第5章

1.4.1 选择题

1. 为提高通信系统传输消息的有效性，信源编码采用的方法是（）。

A、压缩信源的冗余度 B、在信息比特中适当加入冗余比特

C、研究码的生成矩阵 D、对多组信息进行交织处理

解答：A

2. 关于Kraft不等式，正确的是（）。

A、如果编码码字满足Kraft不等式，则该码字是唯一可译码

B、Kraft不等式是唯一可译码的充要条件

C、定长码一定满足Kraft不等式

D、即时码有时不满足Kraft不等式

解答：D。

3. 下列说法正确的是（）。

A、奇异码是唯一可译码 B、非奇异码是唯一可译码

C、非奇异码不一定是唯一可译码 D、非奇异码不是唯一可译码

解答：C。

4. 有关哈夫曼编码，以下（）不是哈夫曼编码需要进一步研究的问题。

A、误差扩散 B、速率匹配 C、概率匹配 D、方差匹配

解答：D。

5. 信源编码中，编码效率与（）无关。

A、平均码长 B、H(X) C、信源符号概率分布 D、编码方法

解答：D。

1.4.2 填空题

1. 无失真的信源中，信源输出由来度量，在有失真的信源中，信源输出由来度量。

解答：H(X)、R(D)。

2. 无失真信源编码的中心任务是编码后的信息率压缩接近；限失真压缩的中心任务是在给定的失真度条件下，信息率压缩接近到。

解答：H(X)；H(X)-ε。

3. 若一离散无记忆信源的信息熵H(X)等于2.5bit/符号，对信源进行等长的无失真二进制编码，则编码的长度至少为 bit。

解答：3。

4. 变长无失真信源编码定理，又称为，定理说明了只要平均码长信源的熵，就可以实现唯一可译码。

解答：香农第一定理；不小于。

1.4.3 计算题

1. 将某六进信源进行二进编码如表5.1所示。（1）这些码中哪些是唯一可译码？（2）哪些码是非延长码（即时码）？（3）对所有唯一可译码求出其平均码长和编码效率。

表5.1 题1的表

消息	概率	C₁	C₂	C₃	C₄	C₅	C₆
u₁	1/2	000	0	0	0	1	01
u₂	1/4	001	01	10	10	000	001
u₃	1/16	010	011	110	1101	001	100
u₄	1/16	011	0111	1110	1100	010	101
u₅	1/16	100	01111	11110	1001	110	110
u₆	1/16	101	011111	111110	1111	110	111

解答：（1）唯一可译码有C₁、C₂、C₃、C₆。

（2）非延长码（即时码）有C₁、C₃、C₆。

（3）

C₁码组的平均码长，编码效率为。

C₂码组，编码效率为。

C₃码组的平均码长，编码效率也为94.1%。

C₆码组的平均码长，编码效率为。

2. 若消息符号、对应概率分布和二进制编码如下：试求：（1）消息符号熵；（2）每个消息符号所需的平均二进码个数；（3）若各消息符号间相互独立，求编码后对应的二进码序列中出现“0”和“1”的无条件概率p₀和p₁，以及码序列中的一个二进制码的熵，并求相邻码间的条件概率p(1/1)、p(0/1)、p(1/0)和p(0/0)。

消息符号	u₀	u₁	u₂	u₃
概率p_i	1/2	1/4	1/8	1/8
编码	0	10	110	111

解答：（1）该信源的熵为

（2）平均码长为

（3）若各消息符号间相互独立，求编码后对应的二进码序列中出现“0”和“1”的无条件概率编码为：

3. 某信源有8个符号{ u₁ …u₈}，概率分别为1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/128，编成这样的码：000，001，010，011，100，101，110，111。试：（1）求信源的符号熵H(u)；（2）求出现一个“1”或一个“0”的概率；（3）求这种码的编码效率；（4）求出相应的香农码和费诺码；（5）求该码的编码效率。

解答：（1）信源熵为：

（2）出现一个“0”的概率：

则出现一个"1"的概率为：。

（3）编码效率为。

（4）根据所给的概率，编出的费诺码和香农码是一样的，如表所示。

符号	概率	码字(r=2)
u₁	1/2=64/128	0
u₂	1/4=32/128	10
u₃	1/8=16/128	110
u₄	1/16=8/128	1110
u₅	1/32=4/128	11110
u₆	1/64=2/128	111110
u₇	1/128=1/128	1111110
u₈	1/128=1/128	1111111

（5）平均码长。

编码效率为

4. 已知符号集合{x₁，x₂，x₃，…}为无限离散消息集合，它们的出现概率分别为p(x₁) = 1/2，p(x₂)= 1/4，p(x₃) = 1/8，…，p(x_i)= 1/2ⁱ，…。试：(1)用香农编码方法写出各个符号消息的码字；(2)计算码字的平均信息传输速率；(3)计算信源编码效率。

解答：（1）由香农编码方法可得各个符号消息的码字

信源符号x_i	符号概率p(x_i)	累加概率pi	-log p(x_i)	码字长度k_i	码字
x₁	1/2	0	1	1	1
x₂	1/4	0.5	2	2	01
x₃	1/8	0.75	3	3	001
...	...	...	...	...	...
x_i	1/2ⁱ	1-1/2^i-1	i	i	0000…1

所以，码字为1，01，001，0001，…，0…01（i-1个“0”和1个“1”）, …

（2）码字的平均信息传输速率为：

(3)由于，所以信源编码效率为。

5. 设有离散无记忆信源P(X)={0.37，0.25，0.18，0.10，0.07，0.03}。（1）求该信源符号熵H(X)。（2）用哈夫曼编码编成二元变长码，计算其编码效率。（3）要求译码错误小于10^－3，采用定长二元码要达到(2)中哈夫曼编码的效率，问需要多少个信源符号一起编？

解答：（1）该信源符号熵。

（2）哈夫曼编码编成的二元变长码（编码过程略），其码字为00，01，11，100，1010，1011。平均码长为，则编码效率为：

（3）要求译码错误小于10^-3，采用定长二元码，此时

由编码效率求得，由可得。

6. 信源符号X有7种字母，概率为(0.32，0.22，0.18，0.16，0.08，0.04)。试：（1）求符号熵H(X)。（2）用香农编码编成二进变长码，计算其编码效率。（3）用费诺编码编成二进变长码，计算其编码效率。（4）用哈夫曼编码编成二进变长码，计算其编码效率。（5）用哈夫曼编码编成三进变长码，计算其编码效率。（6）若用逐个信源符号来编定长二进码，要求不出差错译码，求所需要的每符号的平均信息率和编码效率。（7）当译码差错小于10^－3的定长二进码要达到(4)中哈夫曼的效率时，估计要多少个信源符号一起编才能办到？

解答：（1）符号熵。

（2）香农编码编成二进变长码，如表所示。

符号概率p(x_i)	累加概率p_i	-log p(x_i)	码字长度k_i	码字
0.32	0	1.644	2	00
0.22	0.32	2.184	3	010
0.18	0.54	2.474	3	100
0.16	0.72	2.644	3	101
0.08	0.88	3.644	4	1110
0.04	0.96	4.644	5	11110

平均码长为，则可得编码效率为

。

（3）费诺编码编成二进变长码，如表所示。

p(x_i)	第一次分组	第二次分组	第三次分组	第四次分组	二元码字	码长k_i
0.32	0	0			00	2
0.22	0	1			01	2
0.18	1	0			10	2
0.16		1	0		110	3
0.08			1	0	1110	4
0.04			1	1	1111	4

平均码长为

编码效率：

（4）哈夫曼编码编成二进变长码（过程略），码字为：10，00，01，110，1110，1111。

平均码长，则编码效率

（5）哈夫曼编码编成三进变长码（过程略），编出的码字为： 1，2，00，01，021，022。

平均码长为，则编码效率为：

（6）若用逐个信源符号来编定长二进码，且要求不出差错译码，所需要的每符号的平均信息率为3bit/符号，此时编码效率为78.3%。

（7）当译码差错小于10^－3的定长二进码要达到(4)中哈夫曼的效率时，此时方差，由，得，则。

7. 有一9个符号的信源，概率分别为1/4、1/4、1/8、1/8、1/16、1/16、1/16、1/32、1/32，用三进符号（a、b、c）编码。（1）编出费诺码和霍夫曼码，并求出编码效率；（2）若要求符号c后不能紧跟另一个c，编出一种有效码，其编码效率是多少？

解答：（1）费诺码和霍夫曼编码如表所示。

符号

概率

码字(r=3)

u₁

1/4=8/32

u₂

1/4=8/32

u₃

1/8=4/32

u₄

1/8=4/32

u₅

1/16=2/32

cba

u₆

1/16=2/32

cbb

u₇

1/16=2/32

cca

u₈

1/32=1/32

ccb

u₉

1/32=1/32

ccc

符号

概率

码字(r=3)

u₁

8/32

16/32(a)

u₂

8/32

8/32(b)

u₃

4/32

8/32(a)

8/32(c)

u₄

4/32

4/32(b)

u₅

2/32

4/32(a)

4/32(c)

aab

u₆

2/32

2/32(b)

aac

u₇

2/32(a)

2/32(c)

aaaa

u₈

1/32(b)

aaab

u₉

1/32(c)

aaac

符号

概率

码字(r=3)

u₁

8/32

16/32(a)

u₂

8/32

8/32(b)

u₃

4/32

8/32(a)

8/32(c)

u₄

4/32

4/32(b)

u₅

2/32

4/32(a)

4/32(c)

u₆

2/32

2/32(b)

u₇

2/32(a)

2/32(c)

aba

u₈

1/32(b)

abb

u₉

1/32(c)

abc

第二种码方差较小。

信源熵为：

费诺码的平均码长为：

霍夫曼码的平均码长为：

各自的编码效率为。从上述结果可以看出，霍夫曼码更有效。

（2）若要求符号c后不跟c，则有两种情况必须禁止：

l 在一个码字中出现cc组合；

l 若有一个或多个码字是以符号c开始的，则码字结尾出现c。

下面是一种可能的编码：

表5.13

符号	概率	码字(r=3)
u₁	1/4=8/32	a
u₂	1/4=8/32	ba
u₃	1/8=4/32	bb
u₄	1/8=4/32	caa
u₅	1/16=2/32	cab
u₆	1/16=2/32	cba
u₇	1/16=2/32	cbb
u₈	1/32=1/32	cbca
u₉	1/32=1/32	cbcb

该码的平均码长为，编码效率为。

还有两种可能的编码（过程略）：

l a,ca,cb,baa,bab,bba,bbb,bca,bcb，其编码效率为0.84。

l c,ba,bb,aa,aba,abb,aca,acba,acbb，其编码效率为0.87。

8. 一信源可能发出的数字有1、2、3、4、5、6、7，对应的概率分别为p(1)=p(2)=1/3，p(3)=p(4)=1/9，p(5)=p(6)=p(7)=1/27，在二进或三进无噪信道中传输，二进信道中传输一个码字需要1.8元，三进信道中传输一个码字需要2.7元。试：（1）编出二进符号的霍夫曼码，求其编码效率；（2）编出三进符号的费诺码，求其编码效率；（3）根据（1）和（2）的结果，确定在哪种信道中传输可得到较小的花费？

解答：（1）二进符号的霍夫曼码编码过程如表所示。

符号	概率						码字(r=2)
u₁	1/3	1/3	1/3	1/3	1/3	2/3(0)	1
u₂	1/3	1/3	1/3	1/3	1/3(0)	1/3(1)	00
u3	1/9	1/9	1/9	2/9(0)	1/3(1)		011
u₄	1/9	1/9	1/9(0)	1/9(1)			0100
u₅	1/27	2/27(0)	1/9(1)				01011
u₆	1/27(0)	1/27(1)					010100
u₇	1/27(1)						010101

信源熵

平均码长

编码效率

（2）码元用a、b、c来表示：

表5.15

符号	概率	码字(r=3)
u₁	1/3	a
u₂	1/3	b
u₃	1/9	ca
u₄	1/9	cb
u₅	1/27	cca
u₆	1/27	ccb
u₇	1/27	ccc

平均长度为，编码效率为。

（3）霍夫曼码（二进制）的花费为，费诺码（三进制）的花费为。由此可见，三进费诺码的花费较小。

9. 设有一马尔可夫信源U={u₁,u₂,u₃}，其状态转移概率矩阵为，试求：（1）H(U/S₁)、H(U/S₂)、H(U/S₃)；（2）对各种状态，分别将U的符号编成最佳变长哈夫曼二进码；（3）求H_∞(U)，并证上述编码方法的平均码长= H_∞(U)。

解答：（1）设信源集合为，状态集合为，由题意知状态转移概率矩阵为，可由下列方程组求解得到状态的稳定概率{p_i}：

所以，，即。

由状态转移矩阵可得

所以，

（2）哈夫曼编码：

（3）极限熵为，平均码长为，编码效率为。可以看出，平均编码长度逼近极限熵。

10. 已知一个信源X包含8个符号消息，它们的概率分布如表所示。（1）信源每秒钟内发出一个符号，求该信源的熵及信息传输速率；（2）对这8个符号作二进制码元的哈夫曼编码，写出各个代码组，并求出编码效率。

A	B	C	D	E	F	G	H
0.1	0.18	0.4	0.05	0.06	0.1	0.07	0.04

解答：（1）该信源的熵为：

信息传输速率R=2.55bit/s

（2）哈夫曼编码

C 0.4 0

B 0.18 0 1.0

A 0.1 0 0.23 0

F 0.1 0 1 0.37 1 0.61 1

G 0.07 0 0.13

E 0.06 1 0.19 1

D 0.05 0 0.09 1

H 0.04 1

编码结果：

C B A F G E D H

0 110 100 1110 1010 1011 1110 11111

平均码长为

所以编码效率为

1.5 第6章

1.5.1 选择题

1. 已知某线性分组码的最小距离d_min=7，则该码的检错能力为（）。

A、4 B、5 C、6 D、7

解答：C。

2. 某(6，3)分组码的许用码字为110100，011010，110011，011101，101001，101110，000111，000000，则该码组的最小码距为（）。

A、5 B、4 C、3 D、2

解答：C。

3. 线性分组码不具有的性质是（）。

A、任意多个码字的线性组合仍是码字 B、最小汉明距离等于最小非0码字的重量

C、最小汉明距离为3 D、任一码字和其校验矩阵的乘积为0

解答：D。

4. 最大似然译码等价于最大后验概率译码的条件是（）。

A、离散无记忆信道 B、无错编码

C、无扰编码 D、消息先验等概

解答：D。

5. (n, k)线性分组码最小距离为的必要条件是（）。

A、校验矩阵H中有d_min-1列线性无关 B、校验矩阵H中有d_min列线性无关

C、生成矩阵G中有d_min-1列线性无关 D、生成矩阵G中有d_min列线性无关

解答：A。

1.5.2 填空题

1. 平均错误概率不仅与信道本身的统计特性有关，还与和有关。

解答：译码规则；编码方法。

2. 已知n=7的循环码g(x)=x⁴+x²+x+1，则信息位长度k=3，校验多项式为。

解答：h(x)=x³+x+1。

3. 定理又称为香农第二极限定理。

解答：有扰离散信道编码。

4. 若分组码的校验矩阵H的列线性无关数为n，则该分组码的最小汉明距离d_min= 。

解答：n。

5. 最大似然译码准则是信道编码时，接收端对收到的码字进行译码时，采用的译码规则是选取，这样可使译码差错最小。在输入等概分布的时候，最大后验概率译码即为最大似然译码准则，选取就可使译码差错最小。

解答：最大的后验概率_maxp(x_i/y_j)；最大的先验概率_maxp(y_j/x_i)。

6. 伴随式定义为，反映的是。

解答：；信道对码字造成怎样的干扰。

7. 线性分组码中的错误图案E指的是。在一定的差错范围内，利用来判断收码是否有误。

解答：R-C；RH^T是否为0。

1.5.3 计算题

1. 某系统(8,4)码，其4位校验位v_i(i=0,1,2,3)与4位信息位u_i, (i=0,1,2,3)的关系是，试求：（1）该码的生成矩阵和校验矩阵；（2）该码的最小距离；（3）画出该编码器硬件逻辑连接图。

解答：（1）由校验位与信息位的关系为，可以直接写出生成矩阵，并由系统码的生成矩阵和校验矩阵的关系得到校验矩阵。

（2）该码的最小距离为d_min=4。

（3）编码器硬件逻辑连接图为：

u₀

u₁

u₂

u₃

输入

输出

v₀

v₁

v₂

v₃

2. 列出本章例6-4的(7,4)汉明码的标准阵列译码表。若收码R=(0010100,0111000,1110010)，由标准阵列译码表判断发码是什么。

解答：教材上第六章例6-4的(7,4)汉明码的生成矩阵为，校验矩阵为。

分别以信息组m=(0000),(0001),…(1111)乘以生成矩阵G求出16个码字C₀~C₁₅（详见阵列译码表）。

求伴随式与错误图案之间的关系。由得到方程组。由于伴随式S有2³=8种组合，所以可以将全零图案（1个）和只有一个差错的图案（7个）与伴随式一一对应。将E_j=(0000000)，(1000000)，(0100000)，…，(0000001)代入上述方程组，求得相应的S_j分别为（000），（101），…，（001）详见阵列译码表。

S₀=000	C₀=0000000	C₁=0001011	C₂=0010110	C₃=0011101	C₄=0100111	C₅=0101100	C₆=0110001	C₇=0111010
S₁=101	E₁=1000000	1001011	1010110	1011101	1100111	1101101	1011001	1111010
S₂=111	E₂=0100000	0101011	0110110	0111101	0000111	0001100	0010001	0011010
S₃=110	E₃=0010000	0011011	0000110	0001101	0110111	0111100	0100001	0101010
S₄=011	E₄=0001000	0000011	0011110	0010101	0101111	0100100	0111001	0110010
S₅=100	E₅=0000100	0001111	0010010	0011001	0100011	0101000	0110101	0111110
S₆=010	E₆=0000010	0001001	0010100	0011111	0100101	0101110	0110011	0111000
S₇=001	E₇=0000001	0001010	0010111	0011100	0100110	0101101	0110000	0111011
	C₈=1000101	C₉=1001110	C₁₀=1010011	C₁₁=1011001	C₁₂=1100010	C₁₃=1101001	C₁₄=1110100	C₁₅=1111111
	0000101	0001110	0010011	0011000	0100010	0101001	0110100	01111111
	1100101	1101110	1110011	1111000	1000010	1001001	1010100	1011111
	1010101	1011110	1000011	1001000	1110010	1111001	1100100	1101111
	1001101	1000110	1011011	1010000	1101010	1100001	1111100	1110111
	1000001	1001010	1010111	1011100	1100110	1101101	1110000	1111011
	1000111	1001100	1010001	1011010	1100000	1101011	1110110	1111101
	1000100	1001111	1010010	1011001	1100011	1101000	1110101	1111110

若收码R=(0010100，0111000，1110010)，由表6.3可查出发码为：0010110，0111010，1100010。

3. 某线性分组码的生成矩阵为，试：（1）用系统码[I¦P]的形式表示G；（2）计算该码的校验矩阵H；（3）列出该码的伴随式表；（4）计算该码的最小距离；（5）证明：与信息序列[101]相对应的码字正交于H。

解答：（1）生成矩阵的系统形式为

（2）该码的校验矩阵

（3）该码的伴随式方程为

由于伴随式S有4位，共有16种。每个伴随式对应的错误重量最轻的错误图案如表示。

S	E
0000	0000000
1110	1000000
0111	0100000
1101	0010000
1000	0001000
0100	0000100
0010	0000010
0001	0000001
0011	1010000
0101	0000101
0110	0000110
1001	0001001
1010	0001010
1100	0001100
1111	0101000
1011	0001011

（4）该码的最小码间距离为d_min=4。

（5）由得到与信息序列[101]对应的码字为C=[1010011]。

因为，所以码字C与H正交。

4. 某帧所含信息是(0000110101100010101100)，循环冗余校验码的生成多项式是CRC-ITU-T规定的g(x)=x¹⁶+x¹²+x⁵+1。问附加在信息位后的CRC校验码是什么？

解答：由题意知，信息多项式。由CRC-ITU-T给出的生成多项式可得n-k=16。根据CRC循环冗余码的构码方法，需要计算余式。将m(x)和g(x)代入，用长除法求得：

r(x)=x¹⁴+x¹³+x¹¹+x⁷+x⁶+x³+x²+x+1

所以附加在信息位(0000110101100010101100)后的CRC校验码是(0110100011001111)。

5. 已知n＝15的循环码g(x)＝x¹⁰＋x⁸＋x⁵＋x⁴＋x²＋x＋1。试：（1）求k和对应的h(x)；（2）如信息多项式m(x)＝x⁴＋x＋1，求该信息多项式对应的码多项式；（3）若接收码多项式为R(x)＝x¹⁴＋x⁵＋x＋1，判断是否为许用码多项式。

解答：（1）由题意知，k＝15-10＝5，

（2）码多项式c(x)与信息多项式的关系是：。因此，先计算r(x)。

将各多项式代入上式，并用长除法求得。因此，

（3）判断某码多项式是否为许用多项式，需要计算r(x)h(x)被(xⁿ+1)除后的余数是否为零。如果为零，则为许用多项式；否则，不是许用多项式。

或计算r(x)被g(x)除后的余式，如果为零，则为许用多项式；否则，不是许用多项式。

所以R(x)＝x¹⁴＋x⁵＋x＋1不是许用码多项式。

6. 已知某汉明码的监督矩阵为，试求其生成矩阵。当输入序列为110101101010时，求编码器的输出序列。

解答：由题意知该汉明码为(7,4)线性系统码，且校验矩阵H已知，因此很容易得到该汉明码的生成矩阵。

当输入序列为1101,0110,1010时，4位信息位编一次码，输出序列为1101001,0110001,1010011。

7. 已知一个(6,3)系统分组码的全部码字为(001011, 110011, 010110, 101110, 100101, 111000, 011101, 000000)。求该码生成矩阵G和校验矩阵H，并计算该码的纠错能力。

解答：由题意得该分组码的生成矩阵为，
其监督矩阵为。

因为，所以t=1，即该分组码能纠正1位随机错误。

8. 设一个(7,4)循环码的生成多项式。当接收矢量为r=(1100100)时，问接收是否有错?如果有错，至少有几个错？该码能否纠正这些错？如果能，求译码器的输出码字c'。

解答：接收是有错误的。将接收矢量为r=(1100100)写成多项式为，且

所以接收有错，错误至少有一位。如有1位错误，该码能纠正这个错误。因为，所以译码器的输出为1100101。

9. 一个(15,7)的循环码，其生成多项式为。试：（1）设计该循环码的编码器电路；（2）设信息位为u=(101001)，确定监督位并编成系统码的码字。

解答：
（1）由生成多项式可得该(15,7)循环码的编码电路如下：

（2）信息位为u=(101001)，则监督位为01100001，编成的系统码字为011000010101001。

10. 某(6,3)线性分组码的生成矩阵，试：（1）求系统形式的生成矩阵和系统校验矩阵；（2）计算该码的最小码间距离；（3）若输入信息位m＝110，求相应码字；（4）列出该码的标准阵列译码表；（5）若接收码字为R＝111001，求发码及信息位。

解答：（1）生成矩阵经过行变换和列置换后，得到其系统形式为，相应的系统校验矩阵为。

（2）从（1）中得到的校验矩阵H可以看出，校验矩阵有2列线性无关，3列就线性相关了，所以该码的最小码间距离为d_min=3。

（3）若输入信息位m＝110，其对应的输出码字为C=mG=mG’=(110110)。

（4）该(6,3)码的标准阵列译码表如表6.4所示。

表6.4 (6,3)码的标准阵列译码表

s₁=000	000000	001110	010101	011011	100011	101101	110110	111000
s₂=011	100000	101110	110101	111011	000011	001101	010110	011000
s₃=101	010000	011110	000101	001011	110011	111101	101110	101000
s₄=110	001000	000110	011101	010011	101011	100101	111110	110000
s₅=100	000100	001010	010001	011111	100111	101001	110010	111100
s₆=010	000010	001100	010111	011001	100001	101111	110100	111101
s₇=001	000001	001111	010100	011010	100010	101100	110111	111001
s₈=111	100100	101010	110001	111111	000111	001001	010010	011100

（5）若接收码字为R＝111001，可以从标准阵列译码表中求得发码和信息位。

解法1：直接查表C=(111000)

解法2：，查表得C=(111000)

解法3：，查表得E＝(000001)，C=R+E=(111000)

按题意，该码由G生成，所以对应的信息位m=(011)；

若按系统码生成矩阵，则该码是系统码，所以m=(111)。

11. 为某线性分组码设计三种校验矩阵，分别为，和，试：（1）当接收码R＝1110000时，分别用上述三种校验矩阵译码；（2）上述三种矩阵定义的是不是同一个码集？（3）将生成相同码集的矩阵化为系统形式。

解答：（1）计算接收码字与校验矩阵转置的积，可得

此时错误图案E=0000000，所以译码输出为C＝R＝1110000。

由于，表示接收有错，错误图案为E=0001000，所以译码输出为C＝R＋E＝1111000

（2）和定义的是同一个码集。

（3）和化成系统形式后，。

12. 设二元线性码L的生成矩阵为，建立码L的标准阵并且对字11111和10000分别进行译码。

解答：由生成矩阵G可以看出该生成矩阵是系统生成矩阵，可直接写出其系统校验矩阵为：

由生成阵知，该码共组消息，消息和相应的码字关系为：

表

消息	码字
00	00000
01	01010
10	10000
11	11010

其标准阵为

可以看出，该码组的最小码间距离为，纠错能力为。

对11111和10000译码后得到。

13. 一个(8,4)系统码，它的一致校验方程为，其中是信息位，是校验位。试：（1）计算该码的生成矩阵G和校验矩阵H；（2）证明该码的最小距离为4。

解答：（1）由题意得

写成矩阵形式为，则可得校验矩阵为，生成矩阵为。

（2）该码的最小码距。

14. 设某卷积码的转移函数矩阵为G(D)=(1+D, 1+D²)，试：（1）试画出该卷积码的编码器结构图；（2）求该卷积码的状态图；（3）求该码的自由距离d_f。

解答：（1）输出与输入之间的关系为：

输出，。

编码器结果如下所示：

（2）状态共4个，因为当前输出C_i与当前输入m_i和前两个时刻的输入m_i_-1，m_i_-2有关系。状态图如下：

（3）自由距离d_f=6。

15. 有一离散信道，其信道矩阵为，并设，试：1）按最佳译码规则确定译码方法，并计算平均译码错误概率，2）按最大似然概率译码准则确定译码方法，并计算平均译码错误概率。

解答：1）由题意得联合概率矩阵为

根据最佳译码规则制定的译码方法是：

F(y₁)= x₁ F(y₂)= x₁ F(y₃)= x₃

此时，平均错误概率P_E =1-1/4-1/6-1/8=11/24

2）根据最大似然概率译码规则，得译码规则为：

F(y₁)=x₁ F(y₂)=x₂ F(y₃)=x₃

收到y₁后的错误概率Pe₁=1/2

收到y₂后的错误概率Pe₂=1/2

收到y₃后的错误概率Pe₃=1/2

Y的概率分布为：{1/4 1/4 1/2}

∴平均错误概率为：

P_E=p(y₁)*Pe₁+p(y₂)*Pe₂+p(y₃)*Pe₃=1/4*(1/2)+1/4*(1/2)+1/2*(1/2)=1/2

16. 设C = {00000000, 00001111, 00110011,00111100}是一个二元码。试：（1）计算码C中所有码字之间的距离及最小距离；（2）在一个二元码中，如果把某一个码字中的0和1互换，即0换为1，1换为0，所得的字称为此码字的补。所有码字的补构成的集合称为此码的补码。求码C的补码以及补码中所有码字之间的距离和最小距离，它们与（1）中的结果有什么关系？（3）把（2）中的结果推广到一般的二元码。

解答：（1）根据题意，各码字之间的距离分别为：

d(00000000,00001111)=4，d(00000000,00110011)=4，d(00000000,00111100)=4，

d(00001111,00110011)=4，d(00001111,00111100)=4，d(00110011,00111100)=4

所以码C的最小距离d_min=4。

（2）码C的补码是{11111111, 11110000, 11001100,11000011}

d(11111111,11110000)=4，d(11111111,11001100)=4，d(11111111,11000011)=4，

d(11110000, 11001100)=4，d(11110000, 11000011)=4，d(11001100, 11000011)=4

故C补码的最小距离d_min=4。

（3）推广到一般的二元码也有以上的结论

设码C中任意两码字的距离为d，即两码字有d位不同，n-d位相同。变补后，仍有d位不同，n-d位相同，所以任意两码字的距离不变，最小距离当然不变。

17. 某线性二进制码的生成矩阵为，求：（1）用系统码[I P]的形式表示G，并写出对应的系统码校验矩阵H；（2）证明：与信息序列101相对应的码字正交于H；（3）接收码字R=0111011对应的伴随式S=？

解答：（1）对矩阵G初等行变换，得系统生成矩阵，

系统校验矩阵。

（2）由C=mG可求出，输入信息m=(101)对应的输出码字为c=1010011，，所以与信息序列101相对应的码字正交于H。

（3）伴随式。

18. 已知某(n, k)线性二元码的全部码字如表所示，试：（1）求n、k的值以及码率R；（2）算出此码的最小距离及检错个数；（3）当接收序列分别为100000和001011时，判断是否为发码，若采用最小距离译码准则，求出这两个收码被译成的发码码字；（4）找出3个线性无关的码字构造该码的生成矩阵G；（5）对生成矩阵G变换，是否可以系统化？求出该码集的校验矩阵H。

C₁	C₂	C₃	C₄	C₅	C₆	C₇	C₈
000000	000111	011001	011110	101011	101100	110010	110101

解答：（1）由码集有8个码字得k=3，n=6；码率R=3/6=0.5。

（2）最小距离d_min=3，检错个数2。

（3）当接收序列分别为100000和001011时，不是发码，采用最小距离译码准则，这两个收码被译成的发码码字分别为C₁与C₅。

（4）任意3个线性无关的码字组合都可产生生成矩阵。

（5）生成矩阵不可以系统化，由C=m×G得到，

可以得到校验矩阵。

19. 一组CRC循环冗余校验码，其生成多项式为。假设发送端发送的信息帧中所包含的信息位是“1010001101”。试求附加在信息位后的CRC校验码。

解答：CRC循环冗余码的生成方法为：

（1）写出信息多项式，然后将信息多项式乘以，得到；

（2）除以生成多项式，得到余数为，即01110；

（3）信息帧的CRC校验码即为01110，发送的帧为T=101000110101110。

20. 设线性分组码的生成矩阵为，求：（1）此(n,k)码的n=？，k=？，并写出此(n,k)码的所有码字；（2）求其对应的一致校验矩阵H；（3）确定最小码距，给出此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式；（4）若接收码字为000110，用伴随式法求译码结果。

解答：（1）n=6，k=3

由C=mG，可得所有码字为000000，000111，011001，011110，101011，101100，110010，110101。

（2）将生成矩阵G进行行变换/列置换，变成系统生成矩阵，则系统校验阵为。

（3）最小汉明距离=3，能纠一位错，最大纠错能力=1。

错误图案E	伴随式S
100000	101
010000	110
001000	011
000100	100
000010	010
000001	001

（4）由，知E=010000，则。

21. 某二元(3,1,2)卷积码的转移函数矩阵为，试：（1）画出该卷积码的编码器结构图；（2）画出该卷积码的状态图。

解答：

（1）该卷积码的编码器构图为：

（2）

如图所示的卷积码编码器。试求：（1）k、m、n分别是多少？（2）写出脉冲相应；（3）当输入u＝110 011 101时，写出生成矩阵并求出对应的码字。

解答：

（1）k=3,m=2,n=4；

（2）

（3）生成矩阵为：

输入u＝110 011 101对应的码字为。

22. 已知某(3,12)卷积码，其。试求：（1）画出该卷积码编码器图；（2）画出状态图和格图；（3）当u＝1110100时，求c，并用格图画出编码路径。

答：（1）该卷积码的编码器框图为：

l=0 1 2 3 4 5 6 7

l=0

输出码字为：c=111 010 001 110 100 101 011

23. 考虑下图中的卷积码。试：（1）写出编码器的连接矢量和连接多项式；（2）画出状态图；（3）画出网格图；（4）求自由距离df。

解答：（1）由图可知：连接矢量为：g⁽¹⁾=[1,0,1] g⁽²⁾=[0,1,1]

连接多项式为：g⁽¹⁾（D）= 1+D² g⁽²⁾（D）=D+D²

（2）状态图为：其中（s₀:00，s₁:01，s₂:10，s₃:11）

（3）网格图为：

4）该卷积码的自由距离d_f=4

1.6 第7章

1. 实际的保密系统中，为减小明文的冗余度，可通过和方法达到。

解答：信源编码；扩散和混淆

2. DES算法是由公司正式向美国国家标准局提交的，其密钥共有位。

解答：IBM；64

3. RSA算法是第一个能同时用于和的算法，也易于理解和操作。

解答：加密；数字签名

4. DES算法主要是通过反复使用和两种基本的加密组块的方法，达到加密的目的。

解答：替换、换位

1.6.2 计算题

1. 试用公开密钥（e, n）=（5, 51）将报文ABE，DEAD用“A = 01, B = 02, …,Z=26”方式进行加密。

解答：用加密方程将ABE，DEAD分别代入可得结果为

1，32，14，4，14，1，4

2. 试用秘密密钥（d, n）=（13, 51）将报文4, 1, 5, 1解密。

解答：用解密方程将4, 1, 5, 1分别代入可得结果为

4，1，20，1

3. 试用公开密钥（e, n）=（3, 55）将报文BID HIGH用“A = 01, B = 02, …,Z = 26”方式进行加密。

解答：用加密方程将BIG HIGH分别代入可得加密结果为：

8，14，9，17，14，13，17

4. 用秘密密钥（d, n）=（5, 51）将报文4, 20, 1, 5, 20,5, 4解密。

解答：用解密方程，将4，20，1，5，20，5，4分别代入可得解密结果为：4，5，1，4，5，14，4。

5. 考虑以下RSA算法：（1）如果质数是p=7，q=11，试举出5个允许的解密密钥d。（2）如果质数是p=13，q=31，解密密钥d=37，试求加密密钥e，并加密单词“DIGITAL”。

解答：（1）两个质数p=7，q=11，欧拉函数f(n)=(p-1)´(q-1)=6´10=60

满足同余方程的有：

11´11模60=1，19´19模60=1，29´29模60=1，31´31模60=1，49´49模60=1

因此，得到5个允许的d为：11、18、29、31和49。

（2）由37´251 （模360）=1，所以e为251。

用加密方程将DIGTAL分别代入可得结果。

cy941228

关注

23
点赞
踩
191

收藏

觉得还不错? 一键收藏
3
评论
信息论与编码题库

1.1 第2章1.1.1 选择题1. 同时掷两个正常的骰子，各面呈现的概率都是1/6，则“两个1同时出现”事件的自信息量是（）。A、4.17bit B、5.17bit C、4.71bit D、5.71bit解答：B。2. 设信源概率空间为，则此信源的熵为（）三进制信
复制链接

扫一扫

信息论与编码题库

1.1 第2章

1. 同时掷两个正常的骰子，各面呈现的概率都是1/6，则“两个1同时出现”事件的自信息量是（ ）。

2. 设信源概率空间为 ，则此信源的熵为（ ）三进制信息单位/符号。

3. 三个离散信源 ，其中（ ）的熵最大。

4. 下列离散信源，熵最大的是（ ）。

5. 设x是一个离散随机变量， 和 ， 与 关系是（ ）。

6. 熵函数 是 的（ ）函数。

1. 冗余度来自两个方面：一是 ；二是 。

2. 四进制脉冲所含的信息量是二进制脉冲的 倍；八进制脉冲所含的信息量是二进制脉冲的 倍。

3. 一幅充分洗乱的牌（含52张牌），任一特定排列所给的信息量为 bit，若从中抽取13张，所给的牌点数都不相同，能得到的信息量为 bit。

4. 信息不增性指的是经过分类或归并性信息处理后，信息 。

5. 互信息量为两个不确定度之差，是不确定度部分 ，代表已经 。

1. 什么是疑义度？什么叫噪声熵？

2. 简述离散信源的最大熵定理。对于一个有m个符号的离散信源，其最大熵是多少？

3. 什么叫信源的冗余度？它主要来自哪两个方面？

1. 一阶马氏链信源有三个符号{u1,u2,u3}，转移概率为：p(u1/u1)＝1/2，p(u2/u1)＝1/2，p(u3/u1)＝0，p(u1/u2)＝1/3，p(u2/u2)＝0，p(u3/u2)＝2/3，p(u1/u3)＝1/3，p(u2/u3)＝2/3，p(u3/u3)＝0。画出状态图，并求出各符号稳态概率。

2. 由符号集{0，1}组成的二阶马氏链，转移概率为：p(0/00)＝0.8，p(0/11)＝0.2，p(1/00)＝0.2，p(1/11)＝0.8，p(0/01)＝0.5，p(0/10)＝0.5，p(1/01)＝0.5，p(1/10)＝0.5。画出状态图，并计算各状态的稳态概率。

5. 掷两粒骰子，当其向上的面的小圆点数之和是3时，该事件所包含的信息量是多少？当小圆点数之和是7时，该事件所包含的信息量又是多少？

6. 设有一离散无记忆信源，其概率空间为 ，试：（1）求每个符号的自信息量；（2）若信源发出一消息符号序列为(202 120 130213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。

11. 设以8000样值/s的速率对某语音信号进行抽样，并以M=256级对抽样值均匀量化。设抽样值取各量化值得概率相等，且各抽样值之间相互统计独立，求：（1）每个抽样值所包含的平均自信息量；（2）该语音信源的信息输出率。

12. 布袋中有手感完全相同的3个红球和3个蓝球，每次从中随机取出一个球，取出后不放回布袋。用Xi表示第i次取出的球的颜色，i=1,2,….,6，求：（1） 、 和 ；（2）随k的增加，条件熵 是增加还是减少？请解释。

13. X是一离散随机变量，f是定义在X上的实函数，证明：H(X) ³ H[f(X)]成立，当且仅当f是集合{x：p(X=x)>0}上一对一的函数时取等号。

14. 一个信源发出二重符号序列消息X1X2，其中第一个符号X1可以是A，B，C中的任一个，第二个符号X2可以是D，E，F，G中的任一个。已知各个概率p(x1i)和p(x2j/x1i)的值如下表所示，求这个信源的熵（即联合熵H(X1X2)）。

15. 有一个马尔可夫信源，已知转移概率为p(s1/s1)＝2/3，p(s2/s1)＝1/3，p(s1/s2)＝1，p(s2/s2)＝0。试求出信源熵。

16. 一阶马尔可夫信源的状态图如图所示，信源X符号集为{0，1，2}。（1）求平稳后的信源的概率分布；（2）求信源熵H¥；（3）求当p＝0或p＝1时信源的熵，并说明其理由。

18. 某一阶马尔可夫信源的状态转移如图所示，信源符号集为X：{0,1,2}，并定义 。试求：（1）信源的极限熵H¥；（2）p取何值时H¥取最大值。

19. 三状态马尔可夫信源状态转换图如图所示，试：（1）列出状态转移概率矩阵；（2）列出符号条件概率矩阵；（3）求出稳定后的状态概率分布；（4）求出稳定后的符号概率分布；（5）计算无穷熵 。

20. 已知一阶马尔科夫信源，其转移概率矩阵为 ，试：（1）求出稳定后的状态概率分布；（2）计算该马尔可夫信源的极限熵。

21. 有两个同时输出消息的信源X和Y，第一个信源X能输出a,b,c三个消息，第二个信源Y能输出d,e,f,g四个消息，信源X各消息出现的概率为 ，信源Y各消息出现的条件概率为p(y/x)如表2.1所示，求联合信源的熵 、条件熵及 、 和 。

1.2 第3章

1. 在有扰离散信道上传输符号1和0，传输过程中每100个符号发生一个错传的符号。已知P(0)＝1/2，P(1)＝1/2，信道每秒钟内允许传输1000个符号，则该信道的信道容量为（ ）。

2. 某一待传输的图片约含2.25×106个象元，为了很好地重现图片，需要12个亮度电平。假设所有这些亮度电平等概率出现，设信道中信噪比位30dB，则用3分钟传送一张图片时所需的信道带宽为（ ）。

3. 离散无损信道指的是熵（ ）为0的信道。

4. 离散无噪信道指的是熵（ ）为0的信道。

5. 无干扰信道指的是信道的概率特性满足（ ）。

1. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式 。

2. 当 为－1.6dB时，归一化信道容量 为 。即信道完全丧失了通信能力。我们把－1.6dB称作 ，是一切编码方式所能达到的理论极限。

3. 离散单消息对称信道，其信道容量C等于 。

4. 条件熵H(X/Y)称为损失熵，即信道疑义度，表示信源符号通过 后所引起的信息量的损失。

5. 条件熵H(Y/X)称为噪声熵，它反映了信道中 。

1. 信道容量

2. 高斯白噪声加性信道

3. 香农限

4. 频带利用率

1. 设二进制对称信道的概率转移矩阵为 ，（1）若p(x0)＝3/4，p(x1)＝1/4，求H(X)、H(X/Y)、H(Y/X)和I(X；Y)。（2）求该信道的信道容量及其达到信道容量时的输入概率分布。

2. 某信源发送端有2个符号，xi，i=1,2，p(x1)=a，每秒发出一个符号。接收端有3种符号yj，j=1,2,3，转移概率矩阵如下 。（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度H(Y/X)；（3）计算信道容量。

3. 在有扰离散信道上传输符号1和0，在传输过程中每100个符号发生一个错传的符号。已知P(0)＝1/2，P(1)＝1/2，信道每秒钟内允许传输1000个符号。求此信道的信道容量。

4. 求如图中信道的信道容量及其最佳输入概率分布。并求当 ＝0和1/2时的信道容量。

5. 求下列两个信道的容量，并加以比较。

7. 具有6.5MHz带宽的某高斯信道，若信道中信号功率与噪声功率谱密度之比为45.5，试求其信道容量。

8. 已知一个信道的信道矩阵为 ，传输一个符号所需的时间为1毫秒，求该信道能通过的最大速率。

12. 设某一信号的信息输出率为5.6kbps，噪声功率谱为N=5×10-6mW/Hz，在带宽B=4KHz的高斯信道中传输。试求无差错传输需要的最小输入功率P是多少？

13. 图片传输中，每帧约为2.25*106个像素，为能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送40帧图片所需要的信道带宽（信噪功率比为40dB）。

14. 若已知两信道C1和C2的信道转移概率矩阵分别为 和 ，试求：（1）C3=C1·C2时，信道转移概率矩阵P=？并问其容量是否发生变化？（2）C4=C2·C1时，它能否构成信道？为什么？

1.3 第4章

1. 已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为 ，则信源的最大平均失真度Dmax为（ ）。

2. 率失真函数的下限为（ ）。

3. 若信源要求无失真地传输，则信息传输率至少应（ ）。

4. 以下关于R(D)函数的说法，不正确的是（ ）。

5. 以下有关信息率失真函数和信道容量的比较，错误的是（ ）。

1. 对于离散信源，无失真时R(0)= ，对连续信源R(0)= 。

2. 信息率失真函数的意义是，对于给定的信源，在满足保真度准则 的前提下，信息率失真函数R(D)是信息率允许 。

3. 信息率失真函数R(D)定义是 ，其物理意义是 。

4. 信息率失真函数R(D)的定义域为[0, Dmax]，其中Dmax是 。

5. 信息率失真函数R(D)是关于D的 函数。

1. 设有一个二元等概率信源X＝{0，1}，p0=p1=1/2，通过一个二进制对称信道（BSC）。其失真函数dij与信道转移概率Pij分别定义为 ， 。试求失真矩阵d和平均失真 。

2. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为P＝(1/2，1/2)，失真函数为d(0，0)=d(1，1)= 0，d(0，1)=1，d(1，0)=2。试求Dmin、Dmax和R(Dmin)、R(Dmax)以及相应的编码器转移概率矩阵。

3. 设输入符号表与输出符号表为X＝Y＝{0，1，2，3}，且输入信号的分布为p(X = i ) = 1/4，i＝0，1，2，3，设失真矩阵为 ，求Dmin、Dmax和R(Dmin)、R(Dmax)以及相应的编码器转移概率矩阵。

4. 设输入信号的概率分布为P＝(1/2，1/2)，失真矩阵为 。试求Dmin、Dmax和R(Dmin)、R(Dmax)以及相应的编码器转移概率矩阵。

1.4 第5章

1. 为提高通信系统传输消息的有效性，信源编码采用的方法是（ ）。

2. 关于Kraft不等式，正确的是（ ）。

3. 下列说法正确的是（ ）。

4. 有关哈夫曼编码，以下（ ）不是哈夫曼编码需要进一步研究的问题。

5. 信源编码中，编码效率与（ ）无关。

1. 无失真的信源中，信源输出由 来度量，在有失真的信源中，信源输出由 来度量。

2. 无失真信源编码的中心任务是编码后的信息率压缩接近 ；限失真压缩的中心任务是在给定的失真度条件下，信息率压缩接近到 。

3. 若一离散无记忆信源的信息熵H(X)等于2.5bit/符号，对信源进行等长的无失真二进制编码，则编码的长度至少为 bit。

4. 变长无失真信源编码定理，又称为 ，定理说明了只要平均码长 信源的熵，就可以实现唯一可译码。

1. 同时掷两个正常的骰子，各面呈现的概率都是1/6，则“两个1同时出现”事件的自信息量是（）。

2. 设信源概率空间为，则此信源的熵为（）三进制信息单位/符号。

3. 三个离散信源，其中（）的熵最大。

4. 下列离散信源，熵最大的是（）。

5. 设x是一个离散随机变量，和，与关系是（）。

6. 熵函数是的（）函数。

1. 冗余度来自两个方面：一是；二是。

2. 四进制脉冲所含的信息量是二进制脉冲的倍；八进制脉冲所含的信息量是二进制脉冲的倍。

4. 信息不增性指的是经过分类或归并性信息处理后，信息。

5. 互信息量为两个不确定度之差，是不确定度部分，代表已经。

6. 设有一离散无记忆信源，其概率空间为，试：（1）求每个符号的自信息量；（2）若信源发出一消息符号序列为(202 120 130213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。

12. 布袋中有手感完全相同的3个红球和3个蓝球，每次从中随机取出一个球，取出后不放回布袋。用X_i表示第i次取出的球的颜色，i=1,2,….,6，求：（1）、和；（2）随k的增加，条件熵是增加还是减少？请解释。

14. 一个信源发出二重符号序列消息X₁X₂，其中第一个符号X₁可以是A，B，C中的任一个，第二个符号X₂可以是D，E，F，G中的任一个。已知各个概率p(x_1i)和p(x_2j/x_1i)的值如下表所示，求这个信源的熵（即联合熵H(X₁X₂)）。

15. 有一个马尔可夫信源，已知转移概率为p(s₁/s₁)＝2/3，p(s₂/s₁)＝1/3，p(s₁/s₂)＝1，p(s₂/s₂)＝0。试求出信源熵。

16. 一阶马尔可夫信源的状态图如图所示，信源X符号集为{0，1，2}。（1）求平稳后的信源的概率分布；（2）求信源熵H_¥；（3）求当p＝0或p＝1时信源的熵，并说明其理由。

18. 某一阶马尔可夫信源的状态转移如图所示，信源符号集为X：{0,1,2}，并定义。试求：（1）信源的极限熵H_¥；（2）p取何值时H_¥取最大值。

19. 三状态马尔可夫信源状态转换图如图所示，试：（1）列出状态转移概率矩阵；（2）列出符号条件概率矩阵；（3）求出稳定后的状态概率分布；（4）求出稳定后的符号概率分布；（5）计算无穷熵。

20. 已知一阶马尔科夫信源，其转移概率矩阵为，试：（1）求出稳定后的状态概率分布；（2）计算该马尔可夫信源的极限熵。

21. 有两个同时输出消息的信源X和Y，第一个信源X能输出a,b,c三个消息，第二个信源Y能输出d,e,f,g四个消息，信源X各消息出现的概率为，信源Y各消息出现的条件概率为p(y/x)如表2.1所示，求联合信源的熵、条件熵及、和。

1. 在有扰离散信道上传输符号1和0，传输过程中每100个符号发生一个错传的符号。已知P(0)＝1/2，P(1)＝1/2，信道每秒钟内允许传输1000个符号，则该信道的信道容量为（）。

2. 某一待传输的图片约含2.25×10⁶个象元，为了很好地重现图片，需要12个亮度电平。假设所有这些亮度电平等概率出现，设信道中信噪比位30dB，则用3分钟传送一张图片时所需的信道带宽为（）。

3. 离散无损信道指的是熵（）为0的信道。

4. 离散无噪信道指的是熵（）为0的信道。

5. 无干扰信道指的是信道的概率特性满足（）。

1. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式。

2. 当为－1.6dB时，归一化信道容量为。即信道完全丧失了通信能力。我们把－1.6dB称作，是一切编码方式所能达到的理论极限。

3. 离散单消息对称信道，其信道容量C等于。

4. 条件熵H(X/Y)称为损失熵，即信道疑义度，表示信源符号通过后所引起的信息量的损失。

5. 条件熵H(Y/X)称为噪声熵，它反映了信道中。

1. 设二进制对称信道的概率转移矩阵为，（1）若p(x₀)＝3/4，p(x₁)＝1/4，求H(X)、H(X/Y)、H(Y/X)和I(X；Y)。（2）求该信道的信道容量及其达到信道容量时的输入概率分布。

2. 某信源发送端有2个符号，x_i，i=1,2，p(x₁)=a，每秒发出一个符号。接收端有3种符号y_j，j=1,2,3，转移概率矩阵如下。（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度H(Y/X)；（3）计算信道容量。

4. 求如图中信道的信道容量及其最佳输入概率分布。并求当＝0和1/2时的信道容量。

8. 已知一个信道的信道矩阵为，传输一个符号所需的时间为1毫秒，求该信道能通过的最大速率。

12. 设某一信号的信息输出率为5.6kbps，噪声功率谱为N=5×10^-6mW/Hz，在带宽B=4KHz的高斯信道中传输。试求无差错传输需要的最小输入功率P是多少？

13. 图片传输中，每帧约为2.25*10⁶个像素，为能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送40帧图片所需要的信道带宽（信噪功率比为40dB）。

14. 若已知两信道C₁和C₂的信道转移概率矩阵分别为和，试求：（1）C₃=C₁·C₂时，信道转移概率矩阵P=？并问其容量是否发生变化？（2）C₄=C₂·C₁时，它能否构成信道？为什么？

1. 已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为，则信源的最大平均失真度D_max为（）。

2. 率失真函数的下限为（）。

3. 若信源要求无失真地传输，则信息传输率至少应（）。

4. 以下关于R(D)函数的说法，不正确的是（）。

5. 以下有关信息率失真函数和信道容量的比较，错误的是（）。

2. 信息率失真函数的意义是，对于给定的信源，在满足保真度准则的前提下，信息率失真函数R(D)是信息率允许。

3. 信息率失真函数R(D)定义是，其物理意义是。

4. 信息率失真函数R(D)的定义域为[0, D_max]，其中D_max是。

5. 信息率失真函数R(D)是关于D的函数。

1. 设有一个二元等概率信源X＝{0，1}，p₀=p₁=1/2，通过一个二进制对称信道（BSC）。其失真函数d_ij与信道转移概率P_ij分别定义为，。试求失真矩阵d和平均失真。

2. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为P＝(1/2，1/2)，失真函数为d(0，0)=d(1，1)= 0，d(0，1)=1，d(1，0)=2。试求D_min、D_max和R(D_min)、R(D_max)以及相应的编码器转移概率矩阵。

3. 设输入符号表与输出符号表为X＝Y＝{0，1，2，3}，且输入信号的分布为p(X = i ) = 1/4，i＝0，1，2，3，设失真矩阵为，求D_min、D_max和R(D_min)、R(D_max)以及相应的编码器转移概率矩阵。

4. 设输入信号的概率分布为P＝(1/2，1/2)，失真矩阵为。试求D_min、D_max和R(D_min)、R(D_max)以及相应的编码器转移概率矩阵。

1. 为提高通信系统传输消息的有效性，信源编码采用的方法是（）。

2. 关于Kraft不等式，正确的是（）。

3. 下列说法正确的是（）。

4. 有关哈夫曼编码，以下（）不是哈夫曼编码需要进一步研究的问题。

5. 信源编码中，编码效率与（）无关。

1. 无失真的信源中，信源输出由来度量，在有失真的信源中，信源输出由来度量。

2. 无失真信源编码的中心任务是编码后的信息率压缩接近；限失真压缩的中心任务是在给定的失真度条件下，信息率压缩接近到。

4. 变长无失真信源编码定理，又称为，定理说明了只要平均码长信源的熵，就可以实现唯一可译码。

9. 设有一马尔可夫信源U={u₁,u₂,u₃}，其状态转移概率矩阵为，试求：（1）H(U/S₁)、H(U/S₂)、H(U/S₃)；（2）对各种状态，分别将U的符号编成最佳变长哈夫曼二进码；（3）求H_∞(U)，并证上述编码方法的平均码长= H_∞(U)。

1. 已知某线性分组码的最小距离d_min=7，则该码的检错能力为（）。

2. 某(6，3)分组码的许用码字为110100，011010，110011，011101，101001，101110，000111，000000，则该码组的最小码距为（）。

3. 线性分组码不具有的性质是（）。

4. 最大似然译码等价于最大后验概率译码的条件是（）。

5. (n, k)线性分组码最小距离为的必要条件是（）。

1. 平均错误概率不仅与信道本身的统计特性有关，还与和有关。

2. 已知n=7的循环码g(x)=x⁴+x²+x+1，则信息位长度k=3，校验多项式为。

4. 若分组码的校验矩阵H的列线性无关数为n，则该分组码的最小汉明距离d_min= 。

5. 最大似然译码准则是信道编码时，接收端对收到的码字进行译码时，采用的译码规则是选取，这样可使译码差错最小。在输入等概分布的时候，最大后验概率译码即为最大似然译码准则，选取就可使译码差错最小。

6. 伴随式定义为，反映的是。

7. 线性分组码中的错误图案E指的是。在一定的差错范围内，利用来判断收码是否有误。

1. 某系统(8,4)码，其4位校验位v_i(i=0,1,2,3)与4位信息位u_i, (i=0,1,2,3)的关系是，试求：（1）该码的生成矩阵和校验矩阵；（2）该码的最小距离；（3）画出该编码器硬件逻辑连接图。

3. 某线性分组码的生成矩阵为，试：（1）用系统码[I¦P]的形式表示G；（2）计算该码的校验矩阵H；（3）列出该码的伴随式表；（4）计算该码的最小距离；（5）证明：与信息序列[101]相对应的码字正交于H。

4. 某帧所含信息是(0000110101100010101100)，循环冗余校验码的生成多项式是CRC-ITU-T规定的g(x)=x¹⁶+x¹²+x⁵+1。问附加在信息位后的CRC校验码是什么？

6. 已知某汉明码的监督矩阵为，试求其生成矩阵。当输入序列为110101101010时，求编码器的输出序列。

8. 设一个(7,4)循环码的生成多项式。当接收矢量为r=(1100100)时，问接收是否有错?如果有错，至少有几个错？该码能否纠正这些错？如果能，求译码器的输出码字c'。

9. 一个(15,7)的循环码，其生成多项式为。试：（1）设计该循环码的编码器电路；（2）设信息位为u=(101001)，确定监督位并编成系统码的码字。

11. 为某线性分组码设计三种校验矩阵，分别为，和，试：（1）当接收码R＝1110000时，分别用上述三种校验矩阵译码；（2）上述三种矩阵定义的是不是同一个码集？（3）将生成相同码集的矩阵化为系统形式。

12. 设二元线性码L的生成矩阵为，建立码L的标准阵并且对字11111和10000分别进行译码。

13. 一个(8,4)系统码，它的一致校验方程为，其中是信息位，是校验位。试：（1）计算该码的生成矩阵G和校验矩阵H；（2）证明该码的最小距离为4。

14. 设某卷积码的转移函数矩阵为G(D)=(1+D, 1+D²)，试：（1）试画出该卷积码的编码器结构图；（2）求该卷积码的状态图；（3）求该码的自由距离d_f。

15. 有一离散信道，其信道矩阵为，并设，试：1）按最佳译码规则确定译码方法，并计算平均译码错误概率，2）按最大似然概率译码准则确定译码方法，并计算平均译码错误概率。