对称信道容量的计算MATLAB,准对称信道信道容量的证明及其Matlab实现

1. 引言

信息论是关于通信的理论，是用概率统计的方法研究信息的传输、存储与处理以及如何实现其有效性和可靠性的一门学科。它包括两个基本的问题，一个是信源编码，解决信源的相关性问题，去掉冗余，从而压缩了信源输出，提高了有效性；另一个是信道编码，克服信道中的干扰和噪声，提高了可靠性。可见信道是通信系统的重要组成部分，它的任务是实现信息的传输，在信道固定的情况下，总是希望传输的信息越多越好。本文主要研究一种特殊的信道，即离散准对称信道。

2. 离散准对称信道的定义及信道容量

定义1 设有一个信道矩阵，它的每一行元素都相同，只是排列不同，它的每一列元素也都相同，只是排列不同，称该信道为对称信道。

定义2 设有一个r行s列的离散无记忆信道的信道矩阵P，根据信道的输出集Y可以将P分成n个子矩阵

P

1

,

P

2

,

⋯

,

P

n ，每个子矩阵对应的信道都是对称信道，称这个信道为准对称信道 [1] 。

定义3信道容量

C

=

max

p

(

x

)

{

I

(

X

,

Y

)

} ，其中

I

(

X

,

Y

) 为平均互信息，

p

(

x

) 为输入符号概率。

3. 离散准对称信道信道容量的证明

定理1当输入的每一个符号的概率

p

(

x

i

) 都相等时，达到信道容量C。

定理2 设有一个信道，它的输入符号个数有r个，输出符号个数有s个，当且仅当存在常数C使输入分布

p

(

x

i

) 满足：

1)

I

(

x

i

;

Y

)

=

C

,

p

(

x

i

)

≠

0

2)

I

(

x

i

;

Y

)

<

C

,

p

(

x

i

)

=

0

时，

I

(

X

;

Y

) 达极大值。此时，常数C即为所求的信道容量。

定理3当输入的每一个符号的概率

p

(

x

i

) 都相等时，准对称信道的容量为：

C

=

log

r

−

H

(

q

1

,

q

2

,

⋯

,

q

s

)

−

∑

k

=

1

n

N

k

log

M

k ,

其中，log默认是以2为底的对数，r是信道矩阵的行数，

q

1

,

q

2

,

⋯

,

q

s 表示信道矩阵P中的任意一行元素，

N

k 是第k个子矩阵中行元素之和，

M

k 是第k个子矩阵中列元素之和 [2] 。

证明：设准对称信道的矩阵为

P

=

(

p

(

y

1

|

x

1

)

p

(

y

2

|

x

1

)

⋯

p

(

y

s

|

x

1

)

p