【信息论基础第五讲】连续信源的数学模型及其测度

一、连续信源的信息测度

输出消息取值连续的信源如语音等对应的数学模型被称为连续型随机变量、连续型随机序列或者随机过程，连续信源输出的状态概率用概率密度表示。

考虑一个定义在[a,b]区间的连续随机变量

把X的取值区间[a,b]分割为n个小区间，小区间宽度为△ = (b-a)/n，我们用面积来表示概率，则X取值为xi的概率为p(xi) * △，于是得到离散信源Xn的概率空间为：

 X的取值从x1到xn的概率分别为p(x1)△到p(xn)△。

我们根据以上的思路分析一下高斯白噪声某一时刻取值包含多少信息量

对于高斯白噪声而言，X可以取值负无穷到正无穷，因此取到某时刻的概率值很小，对应的信息量就很大。

我们知道衡量离散信源的信息测度的模型是熵，而对于连续信源而言利用上述的微元法我们将其等效为离散信源，我们对于等效后的离散序列xi求离散信源的熵：