信息论作业P02014153 汪健

1. 在通信系统中，除了常见的高斯白噪声还有哪些噪声会对我们无线传输造成影响

（1）白噪声

在通信系统中，经常碰到的噪声之一就是白噪声。所谓是指它的功率谱密度函数在整个频域内是数，即服从均匀分布。之所以称它为“白”噪声，是因为它类似于光学中包括全部可见光频率在内白光。凡是不符合上述条件的噪声就称为有色噪声。

（2）高斯噪声

在实际信道中，另一种常见噪声是高斯噪声。所谓是指它的概率密度函数服从高斯分布(即正态布的一类噪声。

（3）窄带高斯噪声

当高斯噪声通过以为中心角频率的窄带系统时，就可形成窄带高斯噪声。所谓窄带系统是指系统频带宽度远远小于其中心频率的系统。窄带高斯噪声的特点是频谱局限在附近很窄的频率范围内，其包络和相位都在作缓慢随机变化。如用波器观察其波形，它是一个频率近似为，包络和相位随机变化的正弦波。

（4）正弦信号加窄带高斯噪声

信道中加性噪声无时不在，信号经过信道传输总会受到它的影响。因此，接收端收到的信号实际是信号与噪声的合成波。通信系统中，常常碰到的合成信号具有正弦信号加窄带高斯噪声的形式

---

2.简述算术编码的原理，并举例说明（按照书中例5-9的条件，若输出序列为S=abdab，则对应的编码是什么？给出推导过程）

算术编码是图像压缩的主要算法之一。是一种无损信源压缩方法，也是一种熵编码的方法。和其它熵编码方法不同的地方在于，其他的熵编码方法通常是把输入的消息分割为符号，然后对每个符号进行编码，而算术编码是直接把整个输入的消息编码为一个数，一个满足$(0.0\le n<1.0)$的小数$n$。

符号	$P_i$	$P_j$
a	$0.100(\frac{1}{2})$	0.000
b	$0.010(\frac{1}{4})$	0.100
c	$0.001(\frac{1}{8})$	0.110
d	$0.001(\frac{1}{8})$	0.111

设起始状态的空序列为$\varphi$,则$A(\phi )=1$，$C(\phi )=0$，进行逆推：
$\{\begin{array}{l}C(\phi a)=0\\ A(\phi a)=0.1\end{array}$

$\{\begin{array}{l}C(a,b)=0.01\\ A(a,b)=0.001\end{array}$

$\{\begin{array}{l}C(a,b,d)=0.0101,1\\ A(a,b,d)=0.000,001\end{array}$

$\{\begin{array}{l}C(a,b,d,a)=0.010,111\\ A(a,b,d,a)=0.000,000,1\end{array}$

$\{\begin{array}{l}C(a,b,d,a,b)=0.010,111,01\\ A(a,b,d,a,b)=0.000,000,001\end{array}$

所以有 $L=log\left[\frac{1}{A(a,b,d,a,b)}\right]=9$,所以码字码为010111010

---

3.对于信源的发送和接收，我们日常生活中有哪些应用？举例说明其工作原理与信息论的关系。

• 发电报：发送方将文字按固定方式转为长短信号，输入发报机，发报机按发出信息的要求，而发出不同频率和波长的电流，电报信息通过专用的交换线路以电信号的方式发送出去，被接收方收到并翻译成文字。这体现了信源的发送和接收的全过程，其中文字转化使用的编码即为信源编码，接收者翻译的过程即为解码。
• 写信为：写字的过程就是对信源进行编码，不同的语言进行书写就是不同的编码方式，接着由邮政专车运输就是对信道进行编码，小偷即窃听者可以在这一过程窃取传输的信息，收到信件后阅读的过程就是解码。在这一整个系列中的所有原理都与信息论息息相关，信息论就是以信源的发送和接受等知识为基础进行发散研究。
• 邮递：快递是人类社会发展的的需要，主要原因是因为随着人类物质生活水平的提高服务需求面也越来越高，但其发展受交通运输制约无便利的交通运输怎么也快不起来。其中，邮件本身可以看作是信源，运输过程中的中转站可以看作是信道，接收邮件的站点可以看作是信宿。

​