用matlab绘制信源熵函数曲线,绘制信源熵函数曲线.doc

绘制信源熵函数曲线.doc

郑州轻工业学院本科生实验报告

实验名称绘制信源熵函数曲线课程名称信息论与编码姓 名**指导教师***专业、班级***学 号5*********实验时间******实验地点121实

验

目

的掌握离散信源熵的原理和计算方法。

熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。

理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。

实

验

条

件离散信源相关的基本概念、原理和计算公式

产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。

假定X是一个离散随机变量，即它的取值范围R={x1，x，x，…

单位为 比特/符号 或 比特/符号序列。

平均不确定度H(X)的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H(X)称为信源X的信源熵。

必须注意一下几点：

某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H(X)，X是指随机变量的整体(包括概率分布)。

信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。

熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说获得这么大的信息量后，信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等，但含义不同。

当某一符号xi的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵H(X)为零。

例1-1，设信源符号集X={0，1}，每个符号发生的概率分别为p(0)=p，p(1)=q，p+ q=1，即信源的概率空间为

则该二元信源的信源熵为：

H(X) = - p log p – q log q = - p log p – (1- p) log (1- p)

即：H (p) = - p log p – (1- p) log (1- p)

其中0 ≤ p ≤1

P=0时，H(0) = 0

P=1时，H(1) = 0

MATLAB二维绘图

例对函数y= f(x)进行绘图，则用matlab中的命令plot(x, y)就可以自动绘制出二维图来。如果打开过图形窗口，则在最近打开的图形窗口上绘制此图；如果未打开图形窗口，则开一个新的图形窗口绘图。

例1-2，在matlab上绘制余弦曲线图，y = cos x，其中0 ≤ x ≤ 2(。

>>x=0:0.1:2*pi； %生成横坐标向量，使其为0，0.1，0.2，…，6.2

>>y=cos(x)； %计算余弦向量

>>plot(x,y) %绘制图形

实

验

内

容

与

步

骤用matlab软件绘制二源信源熵函数曲线。根据曲线说明信源熵的物理意义。

实

验

结

果

及

分

析

Maltab代码：

p=0.0000001:0.0001:1;

h=-p.*log2(p)-(1-p).*log2(1-p);

plot(p,h)

hold on;

stem(0.5,1,'--.');

xlabel('p');

ylabel('h(p)');

title('物联网工程')

结果图像：

实验日期： 年 月 日

评分：

指导教师签字：

5