信息论作业 P02014277 刘浩天

 1.对于信源的发送和接收，我们日常生活中有哪些应用？举例说明其工作原理与信息论的关系。

      生活中各种通信设备如电话、广播、遥感等的使用。这些通信设备主要目的用来传输信息，信息传输出去，传递最后被宿主接收，过程中信息论应用无处不在，比如点对点的无线电话，发送端需要一台发信机，把模拟信号调制到射频上，再用大功率发射机经天线发射出去，然后在无线信道中传输。可在系统中加入加密和解密装置，构成无线保密通信系统。在干扰大、信道容量有限的通信系统中，也可采用信源编码和信道编码技术，提高消息有效性和可靠性。

       譬如写字的过程也是一种对信源进行编码的方式，用不同的语言进行书写就是不同的编码方式，接着由邮政专车运输就是对信道进行编码，小偷即窃听者可以在这一过程窃取传输的信息，收到信件后阅读的过程就是解码。在这一整个系列中的所有原理都与信息论息息相关，信息论就是以信源的发送和接受等知识为基础进行发散研究。

 

2.简述LZ编码原理，并举例说明[按照书中例5-10的条件，若输入信源符号序列U=(abbabaabbabab）]则对应的输出编码是什么？

编码原理：设信源符号集A={a1,a2,…,ak}共K个符号,设输人信源符号序列为U=(u1 ,u2,...，un),编码是将此序列分成不同的段。分解是迭代进行的,在第i步，编码器从si-1短语后的第一个符号开始向后搜索在此之前未出现过的最短短语si,将短语si添人字典第i段。由于si是此时字典中最短的新短语，所以si在去掉最后一个符号x后所得的前缀必定是字典中之前已经出现过的。若设此前缀是在第j(<i)步时出现的，则对s;的编码就可利用j和si最后一位符号x来表示，即为码字(j,x)。对于段号j,最多需要[logi ]bit表示，而符号x只需[logK] bit。若编码后的字典中短语共有M(U)个，则U序列编码后输出的码流总长度为i=1M(U)([logi ]+[logK] )

 

LZ编码步骤：

首先将信源输出序列分成各不相同的码段，尽可能取最短码段且各段不相同。然后将第一步分好的各码段作为字典内容，码段的序号作为字典索引。最后进行编码，新的码段是前面出现过的码段与新的信源输出的拼接。

 

书中例5-10：信源符号集 A={a,b}，输人信源符号序列U= (abbabaabbabab)。对输人序列进行分段，单符号a和b分别赋予段号1和2，码字分别为(0,a)和(0,b)。ba为段号3，对应的码字为(2,a)。baa为段号4，对应的码字为(3,a)。bb为段号5，对应的码字为(2,b)。ab为段号6，对应的码字为(1,b)。abb为段号7，对应码字为(6,b)。最后由于要编程二进制码，因此对信源符号的编码可以采用logK个二进制数来表示，对每个段码来说，可以采用[logi ]个二进制数表示，把相应的十进制数转换成相应长度的二进制数即可。最后得到输出的二进制码流为000110011001010011001110

 

3.在通信系统中，除了常见的高斯白噪声还有哪些噪声会对我们无线传输造成影响？

（1）白噪声：在通信系统中，经常碰到的噪声之一就是白噪声。所谓白噪声是指它的功率谱密度函数在整个频域内是常数，即服从均匀分布。换句话说，此信号在各个频段上的功率是一样的，由于白光是由各种频率（颜色）的单色光混合而成，因而此信号的这种具有平坦功率谱的性质被称作是“白色的”，此信号也因此被称作白噪声。相对的，其他不具有这一性质的噪声信号被称为有色噪声。

（2）高斯噪声：高斯噪声是指它的概率密度函数服从高斯分布（即正态分布）的一类噪声。常见的高斯噪声包括起伏噪声、宇宙噪声、热噪声和散粒噪声等等。除常用抑制噪声的方法外，对高斯噪声的抑制方法常常采用数理统计方法。

（3）窄带高斯噪声：当高斯噪声通过以ωc为中心角频率的窄带系统时，就可形成窄带高斯噪声。所谓窄带系统是指系统的频带宽度△f远远小于其中心频率fc的系统，这是符合大多数信道的实际情况的。窄带高斯噪声的特点是频谱局限在 ±ωc附近很窄的频率范围内，其包络和相位都在作缓慢随机变化。如用示波器观察其波形，它是一个频率近似为 fc，包络和相位随机变化的正弦波。

（4）余弦信号加窄带高斯噪声：余弦信号和窄带高斯噪声的随机包络服从广义瑞利分布（也称莱斯分布)。若信号幅度A→0时，其随机包络服从瑞利分布。余弦信号加窄带高斯噪声的随机相位分布与信道中的信噪比有关，当信噪比很小时，它接近于均匀分布。

（5）热噪声：热噪声通常又称为电阻热噪声。它的功率谱均匀分布的频率范围约为10THz，通常认为它是典型的白噪声。我们知道，在一定温度下，任何物体都在不断地骚动，骚动着的物体、通过力和电磁的方式与周围环境交换能量。按照统计力学的能量等配定律，在温度T之下，一个运动自由度的能量平均值等于1/2KT，这里K是玻耳兹曼常数，K=1.38×10-23J/K;T是热力学温度。热骚动同样以电的形式在电路中表现出来。电路中的电流或电路两点之间的电位差，被发现在不停地起伏，在处于一定温度下的电路中，这种起伏是无法避免的。因为热就是物质的无规则的运动。电路中的起伏，在高灵敏度的情况下，很早就被人所觉察。当存在于一个电路中的信号的振幅小到与这种随机热骚动导致的电压起伏具有相同数量级时，这种热起伏将明显地为干扰信号。人们发现，所关心的物理量的起伏状况，包括起伏方差，以及起伏过程的快慢程度（即起伏过程的自相关时间)与所关心的电路的各种参量有关。

（6）宇宙噪声：是指天体辐射波对接收机形成的噪声。它在整个空间的分布是不均匀的，最强的来自于银河系的中部，其强度与季节、频率等因素有关。实测表明，在20MHz~30MHz的频率范围内，它的强度与频率的3次方成正比。因此，当频率低于300MHz时，就要考虑到它的影响。实践证明，宇宙噪声也是服从高斯分布的。在一般信号的工作频率范围内，它具有较为平坦的功率谱密度，均值为零。