学习要点:
- 信道特性
- 基本概念
- 信道模型及分类
- 信道容量特性
- 信道容量计算
- 离散信道容量
- 组合信道容量
- 连续及模拟信道容量
4.1 信道与信道容量
无记忆信道指的信道转移的这个特性在每一时刻彼此是独立的。
符号变为
m
m
m 个的话,
C
=
max
I
(
X
;
Y
)
=
max
H
(
X
)
=
log
m
C=\max I(X;Y)=\max H(X)=\log{m}
C=maxI(X;Y)=maxH(X)=logm bit
无噪声应该不等于无差错,因为假如两个不同的输入都以概率
1
1
1 映射到了同一个输出,那么也是产生了差错的。
这个例子很有意思。可以找到明确的译码方案来达到这个容量。
4.2 离散信道的信道容量
离散无记忆信道(DMC,discrete memoryless channel)
无记忆性:若某一时刻的输出仅和当时的输入有关,而与过去的输入和输出无关。
对于转移概率矩阵
Q
Q
Q ,它的每一行的和都是
1
1
1 ,但是列和不一定是
1
1
1
其中
J
J
J 是输出字符集的大小,
K
K
K 是输入字符集的大小。
额,这个证明我觉得可有可无,因为对称信道每一行是不同的排列,对于不同的输入字符,其输出的概率分布里的数值形成的集合是相同的,因此每一行的熵都相同,自然有 H ( Y ∣ X ) = H ( Y ∣ a k ) H(Y|X)=H(Y|a_k) H(Y∣X)=H(Y∣ak),其中 a k a_k ak 为第 k k k 个输入字符。
然后 C C C 在输出分布为均匀分布时取得。
这个定理也很显然,对于对称信道,输出等概时,输入也是等概。我觉得这个证明写复杂了,对称信道每一行是不同的排列,每一列也是不同的排列,因此每一行的和是相同的,并且每一列的和也是相同的,也易知行和与列和都是 1 1 1,因此在输入等概时可以直接得出 H 0 = 1 J H_0=\dfrac{1}{J} H0=J1
其中
K
K
K 表示输入输出字符集大小,强对称信道中输入输出字符集的大小是一样的。
现在就是通过调整输入分布,来得到最大的
I
(
X
;
Y
)
I(X;Y)
I(X;Y) ,也就是
I
(
p
,
Q
)
I(p,Q)
I(p,Q),从而得到信道容量。其中
p
p
p 是输入分布,
Q
Q
Q 是转移概率矩阵。
这个可以稍微算一下:
I ( X = 0 ; Y ) = H ( Y ) − H ( Y ∣ X = 0 ) = − 2 × 3 8 log 3 8 − 1 4 log 1 4 − ( − 3 4 log 3 4 − 1 4 log 1 4 ) = 3 4 \begin{aligned} I(X=0;Y)&=H(Y)-H(Y|X=0)\\ &=-2\times\frac{3}{8}\log{\frac{3}{8}}-\frac{1}{4}\log\frac{1}{4}-(-\frac{3}{4}\log\frac{3}{4}-\frac{1}{4}\log\frac{1}{4})\\ &=\frac{3}{4} \end{aligned} I(X=0;Y)=H(Y)−H(Y∣X=0)=−2×83log83−41log41−(−43log43−41log41)=43
剩下的不算了,道理一样的。
这个定理的意思是,假如我们现在找到了一个能够达到信道容量的最佳分布
p
∗
p^*
p∗,那么对于概率不为
0
0
0 的输入字符,其与输出字符的互信息必等于信道容量;假如该输入字符概率为
0
0
0 ,那么互信息必小于等于信道容量。
互信息的公式要记一下:
I ( X ; Y ) = ∑ k ∑ j p ( a k , b j ) log p ( a k , b j ) p ( a k ) p ( b j ) = ∑ k ∑ j p ( a k ) q ( b j ∣ a k ) log p ( a k ) q ( b j ∣ a k ) p ( a k ) p ( b j ) = ∑ k ∑ j p ( a k ) q ( b j ∣ a k ) log q ( b j ∣ a k ) p ( b j ) = ∑ k p ( a k ) ∑ j q ( b j ∣ a k ) log q ( b j ∣ a k ) p ( b j ) = ∑ k p ( a k ) I ( X = a k ; Y ) I ( X = a k ; Y ) = ∑ j q ( b j ∣ a k ) log q ( b j ∣ a k ) p ( b j ) \begin{aligned} I(X;Y)&=\sum_k\sum_jp(a_k,b_j)\log\frac{p(a_k,b_j)}{p(a_k)p(b_j)}\\ &=\sum_k\sum_jp(a_k)q(b_j|a_k)\log\frac{p(a_k)q(b_j|a_k)}{p(a_k)p(b_j)}\\ &=\sum_k\sum_jp(a_k)q(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}\\ &=\sum_kp(a_k)\sum_jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}\\ &=\sum_kp(a_k)I(X=a_k;Y)\\ I(X=a_k;Y)&=\sum_jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}\\ \end{aligned} I(X;Y)I(X=ak;Y)=k∑j∑p(ak,bj)logp(ak)p(bj)p(ak,bj)=k∑j∑p(ak)q(bj∣ak)logp(ak)p(bj)p(ak)q(bj∣ak)=k∑j∑p(ak)q(bj∣ak)logp(bj)q(bj∣ak)=k∑p(ak)j∑q(bj∣ak)logp(bj)q(bj∣ak)=k∑p(ak)I(X=ak;Y)=j∑q(bj∣ak)logp(bj)q(bj∣ak)
额,这个求偏导的地方步骤写的很简略…
∂ g ( p ) ∂ p ( a k ) = ∂ ∂ p ( a k ) [ ∑ i = 1 K p ( a i ) ∑ j = 1 J q ( b j ∣ a i ) log q ( b j ∣ a i ) p ( b j ) ] − μ = ∂ ∂ p ( a k ) [ ∑ i = 1 K p ( a i ) ∑ j = 1 J q ( b j ∣ a i ) log q ( b j ∣ a i ) ∑ i = 1 K p ( a i ) q ( b j ∣ a i ) ] − μ = ∑ j = 1 J q ( b j ∣ a k ) log q ( b j ∣ a k ) p ( b j ) + ∑ i = 1 K p ( a k ) ∑ j = 1 J q ( b j ∣ a k ) ∂ ∂ p ( a k ) log q ( b j ∣ a k ) ∑ i = 1 K p ( a i ) q ( b j ∣ a i ) − μ = ∑ j = 1 J q ( b j ∣ a k ) log q ( b j ∣ a k ) p ( b j ) − ∑ i = 1 K p ( a k ) ∑ j = 1 J q ( b j ∣ a k ) q ( b j ∣ a k ) ∑ i = 1 K p ( a i ) q ( b j ∣ a i ) log e − μ = ∑ j = 1 J q ( b j ∣ a k ) log q ( b j ∣ a k ) p ( b j ) − ∑ j = 1 J p ( b j ) q ( b j ∣ a k ) p ( b j ) log e − μ = ∑ j = 1 J q ( b j ∣ a k ) log q ( b j ∣ a k ) p ( b j ) − ∑ j = 1 J q ( b j ∣ a k ) log e − μ = I ( X = a k ; Y ) ∣ p = p ∗ − log e − μ \begin{aligned} \frac{\partial g(p)}{\partial p(a_k)}&=\frac{\partial}{\partial p(a_k)}[\sum_{i=1}^Kp(a_i)\sum_{j=1}^Jq(b_j|a_i)\log\frac{q(b_j|a_i)}{p(b_j)}]-\mu\\ &=\frac{\partial}{\partial p(a_k)}[\sum_{i=1}^Kp(a_i)\sum_{j=1}^Jq(b_j|a_i)\log\frac{q(b_j|a_i)}{\sum_{i=1}^Kp(a_i)q(b_j|a_i)}]-\mu\\ &=\sum_{j=1}^Jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}+\sum_{i=1}^Kp(a_k)\sum_{j=1}^Jq(b_j|a_k)\frac{\partial}{\partial p(a_k)}\log\frac{q(b_j|a_k)}{\sum_{i=1}^Kp(a_i)q(b_j|a_i)}-\mu\\ &=\sum_{j=1}^Jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}-\sum_{i=1}^Kp(a_k)\sum_{j=1}^Jq(b_j|a_k)\frac{q(b_j|a_k)}{\sum_{i=1}^Kp(a_i)q(b_j|a_i)}\log{e}-\mu\\ &=\sum_{j=1}^Jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}-\sum_{j=1}^Jp(b_j)\frac{q(b_j|a_k)}{p(b_j)}\log{e}-\mu\\ &=\sum_{j=1}^Jq(b_j|a_k)\log\frac{q(b_j|a_k)}{p(b_j)}-\sum_{j=1}^Jq(b_j|a_k)\log{e}-\mu\\ &=I(X=a_k;Y)|_{p=p^*}-\log{e}-\mu \end{aligned} ∂p(ak)∂g(p)=∂p(ak)∂[i=1∑Kp(ai)j=1∑Jq(bj∣ai)logp(bj)q(bj∣ai)]−μ=∂p(ak)∂[i=1∑Kp(ai)j=1∑Jq(bj∣ai)log∑i=1Kp(ai)q(bj∣ai)q(bj∣ai)]−μ=j=1∑Jq(bj∣ak)logp(bj)q(bj∣ak)+i=1∑Kp(ak)j=1∑Jq(bj∣ak)∂p(ak)∂log∑i=1Kp(ai)q(bj∣ai)q(bj∣ak)−μ=j=1∑Jq(bj∣ak)logp(bj)q(bj∣ak)−i=1∑Kp(ak)j=1∑Jq(bj∣ak)∑i=1Kp(ai)q(bj∣ai)q(bj∣ak)loge−μ=j=1∑Jq(bj∣ak)logp(bj)q(bj∣ak)−j=1∑Jp(bj)p(bj)q(bj∣ak)loge−μ=j=1∑Jq(bj∣ak)logp(bj)q(bj∣ak)−j=1∑Jq(bj∣ak)loge−μ=I(X=ak;Y)∣p=p∗−loge−μ
重点就是分母上的 p ( b j ) p(b_j) p(bj) 在求导的时候要展开。
妙啊。
单调递减这个也很显然,把分母写开之后发现
p
(
a
k
)
p(a_k)
p(ak) 在分母这里,一层层推出去就发现这玩意是单减的。
二元对称信道怎么搞都行,可以直接
C
=
max
I
(
X
;
Y
)
=
max
H
(
Y
)
−
H
(
Y
∣
X
)
=
max
H
(
Y
)
−
H
(
ϵ
)
=
1
−
H
(
ϵ
)
C=\max{I(X;Y)=\max{H(Y)}-H(Y|X)}=\max{H(Y)}-H(\epsilon)=1-H(\epsilon)
C=maxI(X;Y)=maxH(Y)−H(Y∣X)=maxH(Y)−H(ϵ)=1−H(ϵ)
等号在输出字符之间独立时取到(因为信道是无记忆的,所以输出字符独立要求输入字符独立)
有记忆信道的结论和无记忆信道的结论中的不等号的方向是相反的。
4.3 信源与信道的匹配
为啥这么复杂。。要我来的话:
I
(
X
;
Y
)
I(X;Y)
I(X;Y) 关于
p
(
y
)
p(y)
p(y) 上凸,因此极值点唯一。
4.4 组合的信道
这个和信道很有意思
4.5 连续信道的信道容量
4.6 模拟信道的信道容量