短包（有限长编码）通信理论

互信息量

• 互信息小于码率$R$的概率称为信息中断概率(IOP)，它是互信息在$R$处的累积分布函数(CDF)

• 对于具有有限块长的AWGN信道，可以定义一个信息中断概率。当$n$个独立和同分布时(i.i.d)，互信息表示为$Bessel-K$分布，而经过推导，当$n$非常小时，可以近似推导处它的高斯近似

• 定义$Z\sim \mathcal{N}(m,{\sigma }^2)$为高斯随机变量，$Z\sim {\mathcal{N}}_c(m,{\sigma }^2)$为高斯复随机变量高斯复随机变量的公式可得
  $$f_Z(z)=\frac{1}{\pi {\sigma }^2}\exp \{-\frac{|z-m{|}^2}{{\sigma }^2}\}\text{\hspace{1em}(1)}$$

• 定义概率密度函数(CDF)为$F_Z(z)$，定义事件$A$为$P[A]$

• 离散时间输出达到容量的AWGN信道是$Y=X+N$，其中$X\sim {\mathcal{N}}_c\left(0,{\epsilon }_s\right)$，$N\sim {\mathcal{N}}_c\left(0,N_0\right)$，所以$Y\sim {\mathcal{N}}_c\left(0,{\epsilon }_s+N_0\right)$

• 在输入和输出之间的互信息量定义为
  $$i(x;y)=\log \frac{f_{X,Y}(x;y)}{f_X(x)f_Y(y)}\text{\hspace{1em}(2)}$$
  平均互信息量定义为
  $$I(X;Y)=E[i(X;Y)]\text{\hspace{1em}(3)}$$
  通过条件概率，式(2)可变成
  $$i(x;y)=\log \frac{f_{Y|X}(y|x)}{f_Y(y)}\text{\hspace{1em}(4)}$$
  其中$f_{Y|X}(y|x)\sim {\mathcal{N}}_c(X,N_0)$，把高斯复随机过程公式代入得
  $$i(x;y)=$$