点对点通信的信道容量定理及其证明

点对点通信

数学模型

  发送端发送消息$M$，首先通过编码器，将消息M用编码序列$X^n$表示，$X^n$进入信道传输，接收端接收到信号$Y^n$，通过译码器得到对消息$M$的估计$\hat{M}$。

首先考虑离散无记忆信道 $p(y|x)$，通信模型如下图所示：

信道容量定理

香农提出，离散无记忆信道$p(y|x)$的容量：
$$C=\underset{p(x)}{\max }I(X;Y)$$

数学证明

  编码序列的长度为n，每个位置携带 $R$ bits的信息，有$2^R$种可能，所以长度为n的序列有$2^{nR}$种可能，可以对应$2^{nR}$种消息，也即是消息的个数。

可达性证明

  要证明信道容量定理的可达性，即是要证明对于任意的$R<C=\underset{p(x)}{\max }I(X;Y)$，都存在一个编码序列$(2^{nR},n)$，使得当$n\to \infty$时，平均差错概率$P_e^{(n)}$趋向于0。

随机码本生成

encoder和decoder均已知码本

  $X$的概率质量函数为$p(x)$。随机独立的生成$2^{nR}$个，长度为n的序列$x^n(m)$，$m\in [1:2^{nR}]$（$m$类似一个标号，用以代表从第一个到第$2^{nR}$个序列）。每一个$x^n$的概率为$p(x^n)=\prod _{i=1}^n{p}_X(x_i)$，生成的所有序列构成一个码本$C$：

$$p(C)=\prod _{m=1}^{2^{nR}}\prod _{i=1}^n{p}_X(x_i(m))$$ $p(C)=1,C$是由码字$x^n(1),x^n(2),...,x^n(2^{\lceil nR\rceil })$组成的码本集合

  发送端发送信号$x^n(m)$，接收端收到信号$y^n$，如果存在唯一的消息$\hat{m}$，使得$(x^n(\hat{m}),y^n)\in {\mathrm{T}}_{\epsilon }^{(n)}$，${\mathrm{T}}_{\epsilon }^{(n)}$(联合典型集)，则判定发送端发送的消息是第$\hat{m}$个序列；否则，如果没有这样一个消息$\hat{m}$或者有多个这样的消息，满足条件$(x^n(\hat{m}),y^n)\in {\mathrm{T}}_{\epsilon }^{(n)}$，则判定一个error e已经发生。

  假设消息$M$是均匀分布，$M\sim Unif[1:2^{nR}]$。

条件差错概率

  在已知发送的是第$m$个消息序列的条件下，译码器估计的结果并不是第$m$个消息序列的概率，称为条件差错概率，记为${\lambda }_m(C)$。
$${\lambda }_m(C)=P(\hat{M}\ne m|M=m)$$

平均差错概率

基于码本$C$的平均差错概率，定义如下：
$$P_e^n(C)=P(\hat{M}\ne M)=\frac{1}{2^{\lceil nR\rceil }}\sum _{m=1}^{2^{\lceil nR\rceil }}{\lambda }_m(C)$$
若存在一个码本$C$$(2^{nR},n)$，有：
$$\underset{n\to \infty }{\lim }{P}_e^{(n)}(C)=0$$则称速率R是可达的。

差错概率分析

  为了后续证明方便，不妨假设$nR$是整数(不是整数的时候向上取整即可，只是换个符号$2^{\lceil nR\rceil }$而已，道理是一样的)。

假设发送端发送的是第$m$个消息序列，出现以下情况1 or 2：

1. $(x^n(m),y^n)\notin {\mathrm{T}}_{\epsilon }^{(n)}$
2. 存在$m^{\prime }\ne m,(x^n(m^{\prime }),y^n)\in {\mathrm{T}}_{\epsilon }^{(n)}$

则判定译码发生error，关于码本$C$和消息$M$的平均差错概率为：

$$P(\mathcal{E})=E_C(P_e^{(n)})$$ $$=E_C(\frac{1}{2^{nR}}\sum _{m=1}^{2^{nR}}{\lambda }_m(C))$$ $$=\frac{1}{2^{nR}}\sum _{m=1}^{2^{nR}}{E}_C({\lambda }_m(C))$$ $$=E_C({\lambda }_1(C))$$ $$=P(\mathcal{E}|M=1)$$

因为$M$满足均匀分布，所以每个消息序列出现的概率均为$\frac{1}{2^{nR}}$。根据随机码本生成的对称性，对于任一$m\in [1:2^{nR}]$，其对应的${\lambda }_m(C)$均相同。

下面的说明建立在发送端发送的消息为 $M=1$ ：

当且仅当出现下面情况中的其中一项或者都出现的时候，判定译码器出错：
$${\mathcal{E}}_1=(X^n(1),Y^n)\notin {\mathrm{T}}_{\epsilon }^{(n)}$$ $${\mathcal{E}}_2=(X^n(m),Y^n)\in {\mathrm{T}}_{\epsilon }^{(n)},m\ne 1$$
平均差错概率：
$$P(\mathcal{E})=P({\mathcal{E}}_1\cup {\mathcal{E}}_2)\le P({\mathcal{E}}_1)+P({\mathcal{E}}_2)$$对于第一项，根据大数定理，当 $n\to \infty$时，$P({\mathcal{E}}_1)\to 0$。

对于第二项：

因为$m\ne 1$，有：
$$(X^n(m),X^n(1),Y^n)\sim \prod _{i=1}^n{P}_X(x_i(m))P_{X,Y}(x_i(1),y_i)$$ $$(X^n(m),Y^n)\sim \prod _{i=1}^n{P}_X(x_i(m))P_Y(y_i)$$

联合典型列：

由联合典型性引理的扩展可得：
$$P((X^n(m),Y^n)\in {\mathrm{T}}_{\epsilon }^{(n)})\le 2^{-n(I(X,Y)-\delta (ϵ))}=2^{-n(C-\delta (ϵ))}$$则有下式成立：
$$\mathrm{P}\left({\mathcal{E}}_2\right)\le \sum _{m=2}^{2^{nR}}\mathrm{P}\left\{\left(X^n(m),Y^n\right)\in {\mathcal{T}}_{ϵ}^{(n)}\right\}\le \sum _{m=2}^{2^{nR}}{2}^{-n(C-\delta (ϵ))}\le 2^{-n(C-R-\delta (ϵ))}$$当n趋向于无穷，对于$R<C$，令$ϵ\to 0$时，则有$\delta (ϵ)\to 0$，则有$R<C-\delta (ϵ)$，$2^{-n(C-R-\delta (ϵ))}\to 0$

即是，$\mathrm{P}\left({\mathcal{E}}_2\right)\to 0$

那么，对于任意$R<C$，有平均差错概率$P(\mathcal{E})\to 0$，也即是信道容量定理的可达性得到证明。

可逆性证明

  对于每一个，当$n\to \infty$，平均差错概率$P_e^{(n)}$趋向于0的编码序列$(2^{nR},n)$，速率一定满足$R\le C=\underset{p(x)}{\max }I(X;Y)$。

$(M,X^n,Y^n)$的概率质量函数：$$p\left(m,x^n,y^n\right)=2^{-nR}p\left(x^n\mid m\right)\prod _{i=1}^n{p}_{Y\mid X}\left(y_i\mid x_i\right)$$

Fano’s inequality

若$(X,Y)\sim p(x,y)$ and $P_e=P(X\ne Y)$，有下式成立：
$$H(X\mid Y)\le H\left(P_e\right)+P_e\log |\mathcal{X}|\le 1+P_e\log |\mathcal{X}|$$ $|\mathcal{X}|$集合$\mathcal{X}$的元素个数，$x\in \mathcal{X}$，$\mathcal{X}$变量$X$的取值集合

根据Fano’s inequality，有下式成立：
$$H(M\mid \hat{M})\le 1+P_e^{(n)}nR=n{ϵ}_n$$ ${ϵ}_n=(\frac{1}{n}+P_e^{(n)}R)$，因为$\underset{n\to \infty }{\lim }{P}_e^{(n)}=0$，所以当 $n\to \infty$，有${ϵ}_n\to 0$

data processing inequality

若$X\to Y\to Z$，有下式成立：
$$I(X;Z)\le I(X;Y)$$证明：$$\begin{array}{rl}I(X;Y,Z)& =I(X;Y)+I(X;Z\mid Y)=I(X;Y)\\ & =I(X;Z)+I(X;Y\mid Z)\ge I(X;Z)\end{array}$$

根据data processing inequality，有下式成立：
$$H\left(M\mid Y^n\right)\le H(M\mid \hat{M})\le n{ϵ}_n$$补充：$M\to Y^n\to \hat{M}$形成一个马尔科夫链，有$$I(M;\hat{M})\le I(M;Y^n)$$ $$-I(M;\hat{M})\ge -I(M;Y^n)$$ $$H(M)-I(M;\hat{M})\ge H(M)-I(M;Y^n)$$ $$H(M|\hat{M})\ge H(M|Y^n)$$
可逆性证明：
$$nR=H(M)$$ $$H(M)=-\sum _{i=1}^{2^{nR}}p(m_i)logp(m_i)=-2^{nR}\frac{1}{2^{nR}}log\frac{1}{2^{nR}}=-(-nR)=nR$$ 推导：
$$nR=H(M)=I(M;Y^n)+H(M|Y^n)$$ $$\le I(M;Y^n)+n{ϵ}_n=\sum _{i=1}^{n}I(M;Y_i\mid Y^{i-1})+n{ϵ}_n$$ $$\le \sum _{i=1}^{n}I\left(M,Y^{i-1};Y_i\right)+n{ϵ}_n\stackrel{(b)}{=}\sum _{i=1}^{n}I\left(X_i,M,Y^{i-1};Y_i\right)+n{ϵ}_n$$(b)因为$X_i$是$M$的函数 $$\stackrel{(c)}{=}\sum _{i=1}^{n}I\left(X_i;Y_i\right)+n{ϵ}_n$$ $(c)$因为信道是无记忆的，$(M,Y^{i-1})\to X_i\to Y_i$形成一个马尔可夫链
$$\le nC+n{ϵ}_n$$得$$R\le C+{ϵ}_n$$当$n\to \infty$时，${ϵ}_n\to 0$，所以可得$n\to \infty$时，$R\le C$，可逆性得证。