一种基于线性方程组的信道容量求解方法

一种基于线性方程组的信道容量求解方法

1. 信道容量的一般性结论

信道容量的定义为：
$$C=I(X;Y{)}_{\max }$$
求解信道容量，即在以输入分布为自变量的情况下，求解平均互信息的极大值。需要注意的是：输入分布是信源概率空间中的概率，需要满足概率空间完备性。而直接通过驻点求解出的结论未必满足这一完备性。因此：信道容量的求解问题本质上是多元函数求解约束极值的问题。

1.1. 拉格朗日乘子法

多元函数的约束极值一般通过拉格朗日乘子法求解。拉格朗日乘子法的使用方法如下：

1. 对于某多元函数$y=f(x_1,x_2,\cdots ,x_n)$，需要求解其在$\Phi (x_1,x_2,\cdots ,x_n)=0$条件下的极值；
2. 构建函数：（其中参数$\lambda$称为拉格朗日乘子）
   $$g(x_1,x_2,\cdots ,x_n,\lambda )=f(x_1,x_2,\cdots ,x_n)-\lambda \Phi (x_1,x_2,\cdots ,x_n)$$
3. 求解函数$g(x_1,x_2,\cdots ,x_n,\lambda )$的极值，使该函数达到极值是函数$f(x_1,x_2,\cdots ,x_n)$达到极值的必要条件。

在本问题的求解中，待求极值的多元函数是信道的平均互信息，约束条件是输入分布概率之和为一。于是构造函数的形式为：
$$g(\overrightarrow{p_x},\lambda )=I(X;Y)-\lambda \left(\sum _{i}p(x_i)-1\right)$$

1.2. 求解驻点条件

互信息可以通过信源熵和信道疑义度，或者信宿熵与噪声熵表示。由于信道转移概率一般定义为以输入符号为条件关于输出符号的条件概率，因此使用信宿熵与噪声熵的表达式更方便：
$$I(X;Y)=H(Y)-H(Y|X)$$
信宿熵的求解基于信宿的概率分布特性。需要注意的是：信宿符号之所以表现出随机性，是因为信源符号分布和信道转移特性表现出了随机性，信宿的所有随机性来源于信源和信道，因此：
$$p(y)=\sum _{i}p(x_i,y)=\sum _{i}p(y|x_i)p(x_i)$$
由此可以得到信宿熵的表达式：
$$\begin{array}{rl}H(Y)& =-\sum _{j}p(y_i){\log }_{2}p(y_i)\\ & =-\sum _j\left\{\sum _{i}p(y_j|x_i)p(x_i)\times {\log }_2\left[\sum _{i}p(y_j|x_i)p(x_i)\right]\right\}\end{array}$$
噪声熵可以通过信道转移概率和信源分布表示：
$$\begin{array}{rl}H(Y|X)& =-\sum _{i,j}p(x_i,y_j){\log }_{2}p(y_j|x_i)\\ & =\sum _{i}p(x_i)\left[-\sum _{j}p(y_j|x_i){\log }_{2}p(y_j|x_i)\right]\end{array}$$
要求解函数$g(\overrightarrow{p_x},\lambda )=I(X;Y)-\lambda \left({\sum }_{i}p(x_i)-1\right)$的极值，需要求解使得该函数达到驻点的自变量。这里将偏导求解按三项分别进行：

• 求解$-\lambda \left({\sum }_{i}p(x_i)-1\right)$关于$p(x_t)$的偏导：
  该项是若干$p(x_i)$的累加，对$p(x_t)$求偏导时，只有包含$p(x_t)$的项才对导函数有作用，因此：
  $$\frac{\partial }{\partial p(x_t)}\left[-\lambda \left(\sum _{i}p(x_i)-1\right)\right]=-\lambda$$
• 求解$I(X;Y)$中噪声熵$H(Y|X)$关于$p(x_t)$的偏导：
  该偏导的求解与上一项的求解过程类似，$H(Y|X)$也是一个关于$p(x_i)$各项的和式：
  $$\begin{array}{rl}\frac{\partial }{\partial p(x_t)}H(Y|X)& =\frac{\partial }{\partial p(x_t)}\left\{\sum _{i}p(x_i)\left[-\sum _{j}p(y_j|x_i){\log }_{2}p(y_j|x_i)\right]\right\}\\ & =-\sum _{j}p(y_j|x_t){\log }_{2}p(y_j|x_t)\end{array}$$
• 求解$I(X;Y)$中信宿熵$H(Y)$关于$p(x_i)$的偏导：
  $$\begin{array}{rl}\frac{\partial }{\partial p(x_t)}H(Y)& =\frac{\partial }{\partial p(x_t)}\left\{-\sum _j\left\{\sum _{i}p(y_j|x_i)p(x_i)\times {\log }_2\left[\sum _{i}p(y_j|x_i)p(x_i)\right]\right\}\right\}\\ & =-\sum _j\left[p(y_j|x_t){\log }_{2}p(y_j)+\frac{p(y_j|x_t)}{p(y_j)\ln 2}\times p(y_j)\right]\\ & =-\sum _j\left[p(y_j|x_t){\log }_{2}p(y_j)+\frac{p(y_j|x_t)}{\ln 2}\right]\end{array}$$

由此，得到对于$x_t\in X$，函数$g\left[\overrightarrow{p(x_t)},\lambda \right]$的导函数：
∂ g [ p ( x t ) ⃗ , λ ] ∂ p ( x t ) = − ∑ j [ p ( y j ∣ x t ) log ⁡ 2 p ( y j ) + p ( y j ∣ x t ) ln ⁡ 2 ] + ∑ j p ( y j ∣ x t ) log ⁡ 2 p ( y j ∣ x t ) − λ = ∑ j { p ( y j ∣ x t ) [ log ⁡ 2 p ( y j ∣ x t ) − log ⁡ 2 p ( y j ) ] } − 1 ln ⁡ 2 ∑ j p ( y j ∣ x t ) − λ = − ∑ j [ p ( y j ∣ x t ) log ⁡ 2 p ( y j ) p ( y j ∣ x t ) ] − ( log ⁡ 2 e + λ ) \begin{aligned} \frac{\partial g\left[\vec{p(x_t)},\lambda\right]}{\partial p(x_t)} &= -\sum_j\left[ p(y_j|x_t)\log_2p(y_j) + \frac{p(y_j|x_t)}{\ln2} \right] + \sum_jp(y_j|x_t)\log_2p(y_j|x_t) - \lambda\\ &= \sum_j\left\{p(y_j|x_t)\left[\log_2p(y_j|x_t) - \log_2p(y_j)\right]\right\} - \frac{1}{\ln 2}\sum_j p(y_j|x_t ) - \lambda\\ &= -\sum_j\left[p(y_j|x_t)\log_2\frac{p(y_j)}{p(y_j|x_t)}\right] - \left( \log_2e + \lambda \right)\\ \end{aligned} ∂p(xt​)∂g[p(xt​) ​,λ]​​=−j∑​[p(yj​∣xt​)log2​p(yj​)+ln2p(yj​∣xt​)​]+j∑​p(yj​∣xt​)log2​p(yj​∣xt​)−λ=j∑​{p(yj​∣xt​)[log2​p(yj​∣xt​)−log2​p(yj​)]}−ln21​j∑​p(yj​∣xt​)−λ=−j∑​[p(yj​∣xt​)log2​p(yj​∣xt​)p(yj​)​]−(log2​e+λ)​
在函数达到驻点时，导函数为零，于是有：
$$\{\begin{array}{rl}\sum _{i}p(x_i)& =0\\ -\sum _{j}p(y_j|x_t){\log }_2\frac{p(y_j)}{p(y_j|x_t)}& =\left({\log }_{2}e+\lambda \right)\end{array}$$

1.3. 平均互信息达到信道容量时的性质

理论上，（1.2.）中得到的结论已经足以求解达到信道容量状态下的信源分布，但该表达式形式复杂，且并不是线性方程组，难以保证具有解析解。因此，在本文介绍的求解方法中，不使用该结论直接求解信源分布，而是通过该结论考察平均互信息达到信道容量时的性质，进而试图通过其他方法求解。
通过列写平均互信息的表达式：
$$\begin{array}{rl}I(X;Y)& =H(Y)-H(Y|X)\\ & =-\sum _j\left\{\sum _i[p(y_j|x_i)p(x_i)]\times {\log }_{2}p(y_j)\right\}+\sum _{i}p(x_i)\left[\sum _{j}p(y_j|x_i){\log }_{2}p(y_j|x_i)\right]\\ & =-\sum _i\left\{\sum _j[p(y_j|x_i)p(x_i)]\times {\log }_{2}p(y_j)\right\}+\sum _{i}p(x_i)\left[\sum _{j}p(y_j|x_i){\log }_{2}p(y_j|x_i)\right]\\ & =-\sum _{i}p(x_i)\left[\sum _{j}p(y_j|x_i)\times {\log }_{2}p(y_j)\right]+\sum _{i}p(x_i)\left[\sum _{j}p(y_j|x_i){\log }_{2}p(y_j|x_i)\right]\\ & =-\sum _{i}p(x_i)\left[\sum _{j}p(y_j|x_i){\log }_2\frac{p(y_j)}{p(y_j|x_i)}\right]\end{array}$$
当平均互信息达到信道容量时，有$-{\sum }_{j}p(y_j|x_t){\log }_2\frac{p(y_j)}{p(y_j|x_t)}=\left({\log }_{2}e+\lambda \right)$，于是：
$$C={\log }_{2}e+\lambda$$
或者写成没有待定系数的形式：
$$C=-\sum _{j}p(y_j|x_t){\log }_2\frac{p(y_j)}{p(y_j|x_t)}$$

2. 通过线性方程组求解信道容量

根据（1.3.）得出的结论：
$$C=-\sum _{j}p(y_j|x_t){\log }_2\frac{p(y_j)}{p(y_j|x_t)}$$
这个表达式中，只有$C$、$p(x_t)$是未知数。需要注意的是，该表达式并不是一个方程，而是$\forall x_t\in X$，该方程都成立，即$s$个方程（$s$是信源符号的数量）。
根据对数函数的性质，可以将对数运算下的除法转换成对数运算外的减法，以便尽可能使用线性运算表达方程：
$$C=\sum _{j}p(y_i|x_t){\log }_{2}p(y_i|x_t)-\sum _{j}p(y_j|x_t){\log }_{2}p(y_i)$$
由于转移概率对于特定输入具有完备性，因此将信道容量也转换为乘以转移概率因子并求和的形式：
$$\sum _{j}p(y_j|x_t)C=\sum _{j}p(y_i|x_t){\log }_{2}p(y_i|x_t)-\sum _{j}p(y_j|x_t){\log }_{2}p(y_i)$$
至此，方程转变为：
$$\sum _{j}p(y_j|x_t)[C+{\log }_{2}p(y_j)]=\sum _{j}p(y_j|x_t){\log }_{2}p(y_j|x_t)$$
对于输入和输出状态相等的信道，$n=s=r$。定义未知数向量：
$$\vec{\beta }=\left[\begin{array}{c}C+{\log }_{2}p(y_1)\\ C+{\log }_{2}p(y_2)\\ \cdots \\ C+{\log }_{2}p(y_n)\end{array}\right]$$
于是有：
$$\mathbf{P}\vec{\beta }=\vec{H}$$
其中$\mathbf{P}$是信道转移矩阵，$\vec{H}$是转移矩阵每行的转移概率组成的概率空间的熵，即：
$$\vec{H}=\left[\begin{array}{c}{\sum }_{j}p(y_j|x_1){\log }_{2}p(y_j|x_1)\\ {\sum }_{j}p(y_j|x_2){\log }_{2}p(y_j|x_2)\\ \cdots \\ {\sum }_{j}p(y_j|x_n){\log }_{2}p(y_j|x_n)\end{array}\right]$$
当$\mathbf{P}$是可逆矩阵时，可以通过矩阵运算求解出未知数向量：
$$\vec{\beta }={\mathbf{P}}^{-1}\vec{H}$$
根据信宿熵的完备性，可以通过$\vec{\beta }$向量求解信道容量$C$：
$$\sum _j{2}^{C+{\log }_{2}p(y_j)}=\sum _j{2}^{c}p(y_j)=2^c$$
于是解得信道容量为：
$$C={\log }_2\left(\sum _j{2}^{{\beta }_j}\right)$$