通信系列：通信中如何度量消息中所包含的信息量？如何评估通信系统的性能？

微信公众号上线，搜索公众号小灰灰的FPGA,关注可获取相关源码，定期更新有关FPGA的项目以及开源项目源码，包括但不限于各类检测芯片驱动、低速接口驱动、高速接口驱动、数据信号处理、图像处理以及AXI总线等

本节目录

一、通信中如何度量消息中所包含的信息量？
二、等概率离散消息的度量
三、信息源的熵Entropy
四、如何评估通信系统的性能？
五、通信系统的性能指标用什么描述？
1、有效性
2、可靠性

本节内容
一、通信中如何度量消息中所包含的信息量？
通信的目的是用于传输消息中所包含的信息。信息已经在前期文章描述过了。
信息是指消息中所包含的有效内容,或受信者预先不知而待知的内容。当然，不同形式的消息,可以包含相同的信息。比如用语音和文字发送的天气预报,所含信息内容相同。
如何度量消息中所含的信息量？
在运输货物多少，可以采用采用“货运量”来衡量一样,同样传输信息的多少可以采用“信息量”去衡量。
由于消息是多种多样的，度量消息中所含信息量的方法,必须能够用来度量任何消息,且与消息的种类无关，同时也应该与消息的重要程度无关。在通信中,对于接收者而言,某些消息所含的信息量比另外一些消息更多。对接收者来说,只有消息中不确定的内容才构成信息,而且信息量的多少与接收者收到消息时感到的惊讶程度有关。消息所表达的事件越不可能发生,越不可预测,信息量就越大。
在概率论中,事件的不确定程度可以用其出现的概率来描述。因此,消息中包含的信息量与消息发生的概率密切相关。消息出现的概率越小,则消息中包含的信息量就越大。
若用P(x)表示消息发生的概率,I表示消息中所含的信息量,I与P(x)之间的关系:
①消息中所含的信息量，就是该消息出现的概率的函数；
②P(x)越小,I越大;P(x)越大,I越小;且当P(x)=1时,I=0;P(x)=0时,I=∞；
③若干个互相独立事件构成的消息,所含信息量等于各独立事件信息量之和,信息具有相加性,即

信息量的单位和对数的底a息息相关。
若a=2,则信息量的单位为比特(bit),记为b。
若a=e,则信息量的单位为奈特(nat)。
若a=10,则信息量的单位为哈特莱(Hartley)。

二、等概率离散消息的度量
对于离散信源,M个波形等概率(P=1/M)发送,且每一个波形的出现是独立的,即信源是无记忆的,则传送M进制波形之一的信息量为

P为每一个波形出现的概率;M为传送的波形数。
若M是2的整次幂,表达式为：

其中k是二进制脉冲数目,传送M进制波形的信息量等于用二进制脉冲表示波形所需的脉冲数目k。
三、信息源的熵Entropy

四、如何评估通信系统的性能？
在设计和评价一个通信系统时,需要建立一套能反映系统各方面性能的指标体系。
通信系统的性能指标涉及其有效性、可靠性、适应性、经济性、标准性、可维护性等。从
五、通信系统的性能指标用什么描述？
研究信息传输的角度来说,有效性和可靠性是通信系统的主要性能指标。
1、有效性
有效性是指传输一定信息量所占用的频带宽度,即频带利用率。
数字通信系统,频带利用率η表示单位带宽(每赫)内的传输速率,即η=RB/B(Baud/Hz),其中RB为码元传输速率,即传码率，表示单位时间(每秒)传输码元的数目,单位为波特(Baud),因此,又称R为波特率。RB=1/TB,其中TB表示每个码元的长度。
同样也可以用Rb来表示传输速率，ηb=Rb/B，其中Rb表示信息传输速率，即比特率，表示单位时间内传输的平均信心了，单位为比特/秒(b/s)。
二进制码元的持续时间Tb，TB=Tb×log2(M)
2、可靠性
可靠性是指传输信息的准确程度。
模拟通信系统的可靠性通常用接收端输出信号与噪声功率比(S/N)来度量,反映了信号经传输后的“保真"程度和抗噪声能力。
数字通信系统的可靠性可用差错概率来衡量。差错概率常用误码率和误信率表示。误码率Pe，指的是错误接收的码元数在传输总码元数中所占的比例。
误信率Pb,称误比特率,是指错误接收的比特数在传输总比特数中所占的比例。