信息论与编码matlab实验报告,信息论与编码—Matlab中Huffman仿真

第3章 多符号离散信源

一、本章节教学内容、基本要求、重点与难点

1. 教学内容：

多符号离散序列信源熵。 信息的冗余度。 2. 教学基本要求：

掌握多符号离散序列信源熵的定义、性质。 掌握马尔可夫信源的模型及熵的计算。 掌握信息的冗余度的含义。 3. 重点与难点：

多符号离散序列信源熵的含义。 信息冗余度的含义。

二、离散多符号信源

1、相关概念及数学模型

实际的信源输出的消息是时间或空间上离散的一系列随机变量。这类信源每次输出的不是一个单个的符号，而是一个符号序列。在信源输出的序列中，每一位出现哪个符号都是随机的，而且一般前后符号的出现是有统计依赖关系的。这种信源称为多符号离散信源。

多符号离散信源可用随机矢量/随机变量序列描述，即X=X1,X2,X3，…

信源在不同时刻的随机变量Xi和Xi+r的概率分布P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的统计特性随着时间的推移而有所变化。

定义：对于随机变量序列X1,X2,?,Xn,?，在任意两个不同时刻i和j(i和j为大于1的任意整数)信源发出消息的概率分布完全相同，即对于任意的N，N=0,1,2,…，XiXi+1…Xi+N…和XjXj+1…Xj+N…具有相同的概率分布。也就是：

P(Xi)?P(Xj)P(XiXi?1)?P(XjX????P(XiXi?1?Xi?N)?P(XjXj?1j?1)

?Xj?N)即各维联合概率分布均与时间起点无关的信源称为离散平稳信源。

为了方便，假定随机变量序列的长度是有限的，如果信源输出的消息序列中符号之间是无相互依赖关系/统计独立，则称这类信源为离散平稳无记忆信源/离散平稳无记忆信源的扩展。

离散无记忆信源的数学模型：

离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列，可以用一组组长度为N的序列来表示它。这时它就等效成了一个新信源；

新信源输出的符号是N长的消息序列，用N维离散随机矢量来描述。 ai=(xi1,xi2,…,xiN) i=1,2, …,n

每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X，并且分量之间统计独立。

由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。 N次扩展信源的数学模型： 单符号离散信源的数学模型为 ?X??P(Xx2,?，xn?n??x1,?,?p(xi)?1 ???)??p(x1),p(x2),?,p(xn)?i?1信源X的N次扩展信源用XN表示，它是具有nN个元素(消息序列)的离散信源，其数学模型为

?XN??P(Xa2,?,ai,?,aq???a1,?? ??p(a),p(a),?,p(a),?,p(a))??12iq?其中q=nN，每个符号ai是对应于某一个由N个xi组成的序列； ai的概率p(ai)是对应的N个xi组成的序列的概率； 因为信源是无记忆的，所以消息序列：

ai?(xi1,xi2,?,xiN)的概率为p(ai)?p(xi1)p(xi2)?p(xiN),i1,i2,?,iN?{1,2,?n}

2．离散无记忆信源的序列熵

设信源输出的随机序列为X，X＝(X1X2…Xl…XL)，序列中的变量Xl∈｛x1，x2，…，xn｝，l＝1，2，…，L，即序列长为L。随机序列的概率为：

p(X?xi)?p(X1?xi1,X2?xi2,?,XL?xiL)?p(xi1)p(xi2|xi1)p(xi3|x)?p(xiL|xK其中：xi1?xi1xi2?xiK表示的是一个K长序列。

2i1L?1i1)

L当信源无记忆时，H(X)???p(xi)logp(xi)????p(xil)logp(xil)?iil?1?H(X)

ll?1L若又满足平稳特性，平均每个符号(消息)熵为：

HL(X)?1LH(X)?H(X)(注意：式中前两个X是指L长向量，后一个X是随机

变量)。

3．离散有记忆信源的序列熵(平稳)

我们选阐述一个二维的离散平稳信源一熵的计算，然后推出一般的计算。 二维平稳信源的数学模型：

最简单的离散平稳信源：二维平稳信源 X=X1X2

每两个符号看做一组，每组代表信源X=X1X2的一个消息；

每组中的后一个符号和前一个符号有统计关联，这种概率性的关系与时间起点无关；

假定符号序列的组与组之间是统计独立的。 设X1,X2 ∈{x1,x2,…,xn}，

则矢量X∈{x1x1, …x1xn,x2x1, …,x2xn, …xnx1, …,xnxn} 令

ai?(xi1xi2)i1,i2?1,2,?，ni?1,2,?,n2

p(ai)?p(xi1xi2)?p(xi1)p(xi2/xi1)X的数学模型

?X??P(X并且a2,?，an2???a1,????)??p(a1),p(a2),?,p(an2)?n2

nnnn?i?1p(ai)???i1?1i2?1p(xi1)p(xi2/xi1)??i1?1p(xi1)?p(xi2/xi1)?1i2?1二维平稳信源的信源熵： 根据信源熵的定义

nnH(X)?H(X1X2)????i1?1i2?1nnp(xi1xi2)logp(xi1xi2)logp(xi1xi2)log12p(xixi)12??i1?1i2?1nn12p(xi)p(xi/xi)121n12p(xi)1n???i1?1i2?1???i1?1i2?1p(xi1xi2)log12p(xi/xi)21

?H(X1)?H(X2/X1)n其中?i2?1p(xi1xi2)?p(xi1)结论：两个有相互依赖关系的随机变量X1和X2所组成的随机矢量X=X1X2的联合熵H(X),等于第一个随机变量的熵H(X1)与第一个随机变量X1已知的前提下，第二

个随机变量X2的条件熵H(X2/X1)之和。

H(X) = H(X1)+ H(X2/X1)

将二维离散平稳有记忆信源推广到N维的情况，若信源输出一个L长序列，则信源的序列熵为：

H(X)＝H(X1X2?XL)＝H(X1)＋H(X2/X1)＋…＋H(XL/X1X2…XL－1) [证明]： H(X )= H(X1X2…XN-1XN)

令 Y1=X1X2…XN-1, Y2=X1X2…XN-2 , …, YN-2= X1X2 则 H(X )= H(Y1XN )= H(Y1 )+ H(XN / Y1) = H(X1X2…XN-1)+ H(XN / X1X2…XN-1) = H(Y2 )+ H(XN-1 /Y2)+ H(XN / X1X2…XN-1)

= H(X1X2…YN-2)+ H(XN-1 / X1X2…YN-2)+ H(YN / X1X2…XN-1) …

= H(YN-2 )+ H(X3 /YN-2)+ … +H(XN / X1X2…XN-1) = H(X1X2)+ H(X3 / X1X2)+ … +H(XN / X1X2…XN-1) = H(X1)+ H(X2 / X1)+ H(X3 / X1X2)+ … +H(XN / X1X2…XN-1)

H(X)= H(X1X2…XN-1XN)/联合熵表示平均发一个消息(由N个符号组成)提供的信息量。

平均符号熵：信源平均每发一个符号提供的信息量为HN(X)?1NH(X1X2?XN)

极限熵：当N→∞时，平均符号熵取极限值称之为极限熵或极限信息量。用H∞表示，即：H??limN??1NH(X1X2?XN)

几个有用的结论： 结论1：H(XL|XL?1)是L的单调非增函数。

H(XL|X1X2?XL?1)?H(XL|X2?XL?1)?H(XL?1|X1?XL?2)?H(XL?1|X2?XL?2)??H(X2|X1)条件多的熵不大于条件平稳性条件多的熵不大于条件少的熵少的熵

结论2：L给定时，平均符号熵大于等于条件熵，即：

HL(X)?H(XL|X1X2?XL?1)

HL(X)??1L1LH(X1X2?XL)??H(XLi?11Li|Xi?1)

)

?H(X1)?H(X2|X1)???H(XL|X1X2?XL?1)?L结合结论1：HL(X)?H(X|XL?1结论3：HL(X)是L的单调非增函数。