通过定义计算单天线单用户离散输入信号等概情况下的信道容量

任意输入分布

考虑如下简单的加性高斯信道：

其中，X为离散输入符号集$X=\left[a_0,a_1,\cdots ,a_{M-1}\right]$,由上图，$Y=X+n$。
根据信道容量的定义：

C = max ⁡ { p ( x = a i ) , i = 1 , 2 , . . . , M − 1 } { I ( X ; Y ) } C = \mathop {\max }\limits_{\left\{ {p\left( {x = {a_i}} \right),i = 1,2,...,M - 1} \right\}} \left\{ {I\left( {X;Y} \right)} \right\} C={p(x=ai​),i=1,2,...,M−1}max​{I(X;Y)}
可见，我们的目的是找到一个任意可能的输入信号的概率分布，使得最大化的互信息达到信道容量。如下图计算过程：

其中，(1a)到(1c)是信息论课本中的相关定义，具体可百度；(1c)上半部分到(1d)是全概率公式的展开。

等概

假设输入符号是在M上是均匀分布的，
所以有：
$$C=\frac{1}{M}\sum _{k=0}^{M-1}{\int }_{y}p\left(y|a_k\right){\log }_2\left(\frac{p\left(y|a_k\right)}{\frac{1}{M}\sum _{i=0}^{M-1}p\left(y|a_i\right)}\right)dy（2）$$
再用log(ab)=log(a)+log(b)与log(a/b) = -log(b/a)的性质，把上式分母中的1/M提出来，并将分数项倒过来，有：
$$C=\frac{1}{M}{\log }_{2}M\sum _{k=0}^{M-1}{\int }_{y}p\left(y|a_k\right)dy-\frac{1}{M}\sum _{k=0}^{M-1}{\int }_{y}p\left(y|a_k\right){\log }_2\left(\frac{\sum _{i=0}^{M-1}p\left(y|a_i\right)}{p\left(y|a_k\right)}\right)dy（3）$$
又因为,对该项$\underset{y}{\int }p\left(y|a_k\right)dy$，其积分结果为1，这是因为归一性，即，y的所有概率和为1。所以有：
$$C={\log }_{2}M-\frac{1}{M}\sum _{k=0}^{M-1}{\int }_{y}p\left(y|a_k\right){\log }_2\left(\frac{\sum _{i=0}^{M-1}p\left(y|a_i\right)}{p\left(y|a_k\right)}\right)dy（4）$$

因为噪声是服从均值为0，方差为${\sigma }^2$的高斯分布。对于p(y|ak)
有：
$$p\left(y|a_k\right)=\exp \left(-\frac{{\left|y-a_k\right|}^2}{2{\sigma }^2}\right)（5）$$

将(5)带入(4)中，有：
$$C={\log }_{2}M-\frac{1}{M}\sum _{k=0}^{M-1}{\int }_{y}p\left(y|a_k\right){\log }_2\sum _{i=1}^{M-1}\exp \left(-\frac{{\left|y-a_i\right|}^2-{\left|y-a_k\right|}^2}{2{\sigma }^2}\right)dy（6）$$
接着，令n=y-x,则dy=dz，y与z同号，故可进行积分代换,因为：

故可以得到以下计算过程：

其中，（6）到（7）是把y=x+n待入公式中，（7）到（8）是把积分写成数学期望的形式。（8）式的表达形式常可以在一些论文中见到。

总结

1. 附：以上计算结果为单用户单天线的高斯信道，信道矩阵归一化为1了。可以参考经典论文，讨论的是单用户mimo高斯信道：

Globally Optimal Linear Precoders for Finite Alphabet Signals Over
Complex Vector Gaussian Channels

2.可以想象，如果是干扰信道的话，公式6中的y-ak不会再单纯的等于噪声n了，会引入干扰项

  具体是什么样的，后面我会再更新博客，也可以去搜一下关于广播和干扰信道的论文，其实就是广义二次矩阵相减的形式.
  此外，在广播或者干扰信道的条件下，条件概率也不再单纯等于噪声，需要经过一点点小计算，最终的结果也会是用噪声来进行积分代换的。
  敲公式不易，觉得有帮助的话麻烦点个赞把！