信息论基础（Part2）

这一部分是第二部分，前一部分请参考笔者所写的part1博客。

一、目录

1、连续信源的熵

2、Shannon公式：波形信道的平均互信息，波形信道的信道容量、香农公式及其指导意义

3、MIMO信道容量分析：技术背景、发展历程、信道容量分析、关键技术与应用、研究方向

二、连续信源的熵

与离散信源不同的是，连续信源的样本空间是连续的；离散分布的是概率分布函数，对于连续型分布，我们称之为概率密度函数。通常可以这么表示：

量化逼近法：将 X 的取值范围 [ a,b ] 作 N 等分，每份为Δ=(b-a)/N，因此当

其概率等价于这一段区间的面积，因此信号x落在第i个区间的概率为：

因此一个连续型信源可以转化为有 N 个离散的符号来表示的离散信源。因此分布可以改写为

因此连续信源等价于N趋近于无穷时的离散信源。计算其熵为：

因此对于一个连续信号来说，可以认为其潜在的信息量是无穷的，即连续信源每个采样点潜在的信息量是无穷的，这也就可以解释我们在追求高量化精度时，可以呈现较大的信息量，代价是复杂度的提升，即你需要用无穷多的位数来表示高精度的信号。

当N趋近于无穷时，，，那么Δ可以用dx表示。

此外还可以发现，不同信源熵的差异主要体现在第一项，这一部分类似离散信源熵，因此我们重点考察第一部分。

例2.1 

求高斯信信源熵，高斯分布的概率密度函数为：

A：

可以发现，高斯信源的熵与均值是无关的，仅受方差影响。

1、波形信源的熵

波形信源在时间上是连续的信号，那么我们可以通过采样的办法把它变成一个时间离散的连续信源来进行考虑。因此求波形信源熵，相当于求联合熵。

令x(t)为平稳随机过程， 为平稳随机序列，则波形信源的熵为：

对于频带 W 和时间 T 受限的平稳随即过程（平稳信源），则采样点数应该为 2W ， N=2WT ，即

2、连续信源熵的性质

由于连续信源的熵在形式上类似于离散信源的熵，因此它们的性质也有相似之处。需要注意的是，连续信源熵并不完全等价于离散信源的熵，它还有一些其他的性质。

（1）链式法则及独立界：

（2）可负性（不同于离散情况），例如[a,b]均匀分布的熵。

连续信源为负并不表示它提供了一个负信息，因为它只是它其中的一部分，后面还有一个无穷大。

3、连续信源的性质

1、变换性：例，设连续信源的输出为[-1,1]内的均匀分布，求其熵；若输出信号放大一倍，再求其熵。

我们发现 y=2x 是一个确定性的变换，对于离散的信号来说，线性的变换不会改变其概率分布函数；但是连续信源不是这样的，即便我们做了一一对应的变化，但是熵还是改变了。

如果坐标的变换是线性变换，则 ，有

如果坐标的变换是平移和旋转变换时，熵不变。例如有一标准正态分布，其经过放大器 k 倍放大和直流分量 a 加成后，输出为 y= kx+a ，求 h(Y).

2、凸状性：h(X)为p(x)的上凸函数，对于某种p(x)的分布，h(X)可达到最大值。

3、最大值：对于连续信源和离散信源，都存在一个最大值，不同地是，对于连续熵而言，求最大值的时候往往会加入一些约束条件，例如高斯分布中通常会给平均功率加个限制。

约束条件不同时，得到的信源的最大熵也是不同的。当一个连续信源输出信号的平均功率受限为 P ，输出信号幅度服从高斯分布时，信源具有最大熵，为：

称为最大熵。

如果幅度被受限在 [ a,b ] ，无其他约束条件，则用朗格朗日法可以得出，均匀分布是最好的。

三、香农公式

1、平均互信息

信道的输入和输出都是随机过程，即在时间和幅度上都是连续的一个信号。我们可以通过采样的办法将其变为一个N维序列。

2、AWGN信道的平均互信息

高斯白噪声：幅度服从高斯分布，功率谱密度在整个带宽内为常数的一种噪声信号。

我们将 h(Y|X) 称为信道的噪声熵，用于表征信道收到的噪声的影响，其熵为：

我们可以发现噪声熵实际上就等于 噪声源 的熵。

3、信道容量

信道中平均互信息描述的是信道实际传输信息量的情况，而如果想知道信道传输的能力有多大这个值我们称它为信道容量。

定义：

一个信道的信道容量等于给定信道的平均互信息的最大值，对于连续型的信号来说，我们一般更关注单位时间内信道最大能传输多少信息量。如果假设传1bit的信息量用了t秒，那么每秒钟能传输的信息量为Ct。因此对于波形信道，我们通常考察单位时间内的信息量。

对于加性信道：

对于平均功率受限的高斯加性信道的信道容量（设信道输出Y的平均功率受限为P0）

当Y为高斯分布时，h(Y)最大，有，若假设输出功率P0等于输入功率PS加噪声功率，则

可以发现，噪声为高斯分布，输出为高斯分布，因此当输入也是高斯分布的时候可以达到最大值。需要注意的是，上述容量只是描述了单个离散时刻点的一个情况，为了研究单位时间内的情况，我们假设单位时间内采样了N个样点值，则信道容量如下。

考虑单位时间的传输情况：

Ø 考虑信道的带宽受限，信号有效带宽为 B ，采样速率 f ≥ 2B 时，采样序列可以携带信源的全部信息量。

因此单位时间内，应该有2B个样点，N=2B

如果将噪声功率考虑为带内的噪声功率，则有 ，N0是噪声单边带功率谱密度。

这个公式也就是香农信道容量公式。

香农公式最基本的表示为带宽乘以输入输出的功率比，然后根据输出功率等于输入功率加噪声功率可以得到第一个公式。再进一步，如果考虑带内噪声，则可以得到最下面的公式。

需要注意到， 香农公式描述的是带宽受限的 AWGN 信道的容量 。需要满足 信源平均功率受限，噪声为 AWGN 和带宽受限 3 个条件。

4、香农公式及其指导意义

1 、建立了连续信道的带宽 B ，信噪比 P/(σ^2) ，信道容量 Ct 之间的定量关系，这三者可以互换。

2 、虽然香农公式适用于加性高斯信道，但可以作为非高斯信道的下限。

3 、香农限：增加带宽可以增加信道容量，那是不是意味着无限增加带宽就可以无限增加容量了呢？

4 、香农限：当 C 一定时，无限增加带宽，信噪比是否就会无限变小呢？即带宽无限时信噪比为多少？假设信号的传信率（每秒钟可以传的比特数）为 Rt ， Eb 为比特能量， Eb/N0 为比特信噪比。

-1.6dB是一个非常重要的限，即我的带宽趋近于无穷时，我已接近信道容量的信息速率来传输信息，但我又不像出错，则我必须要付出-1.6dB的代价。

在带宽不受限的高斯白噪声信道中，只要每赫兹频带传输一比特信息的信噪比不低于 -1.6dB ，通过最佳信道编码，就有可能实现无差错的传输。这是高斯信道中传输信息的极限能力，称为 香农限 。

增加信道容量需要采用新的措施，如 MIMO 。

四、MIMO信道容量

1、MIMO的发展

香农信息论提出了单天线情况下的信道容量。

通过编码调制等各种物理层传输手段来努力逼近香农理论极限。

这个公式就是香农理论的信道容量极限公式，从公式里面我们可以看出信道容量跟SNR有一定关系，还和带宽有关。

在传统单天线情况下，发送端如果采用多个天线在 同频同时 发送不同信号，则在接收端将无法分离，互成干扰。原因是接收端无法区分多个天线到接收天线之间的信道，因此会发生干扰。

如果信道是可分离的，那么就相当于从发射端到接收端建立了多条独立的信道，如果每一条信道上按照香农的理论极限，能够达到它的这个信道传输容量，则多条信道的容量将大得多。

如果通过一定的信号处理方式可以在接收端区分多个发射天线到接收天线的信道，则发射端用多个天线发射，接收端用多个天线接收，会发生什么效果呢？

上世纪 90 年代，贝尔实验室的两个科学家 Telatar 和 Foschini 分别独立地提出 MIMO的概念。他们将单天线的香农理论拓展到多天线，当天线之间的距离大于波长的整数倍时，即天线之间相互独立的时候，那么这个多天线系统的信道容量由收发天线中的最小值决定。

2、MIMO基本原理

收发段均采用多个天线；

由于无线信道的衰落特性，使得不同的天线对之间的信道相互独立。

每个接收天线都可以接收到 S1 和 S2 的发射信号。因此可以建立 4 个信道。

从信道角度来看，多个天线同时向信道上发送信号相当于信道的多个输入，接收天线上收到的多个信号相当于信道的多个输出，因此多天线系统也称为多输入多输出系统，即 MIMO 。

MIMO 系统可以看作是在多个并行的信道中进行数据传输，频率上可以重叠，因此提高了频谱效率。

上图中的宽度表示了能传输信息的能力。

 3、MIMO确定性信道容量

信道矩阵H为 维，s为 维的发送矢量。接收信号为 维矢量，具体可表示为：

其中 Es 为发送端每一个发送符号的能量。所以 Es/MT 就表示每一个天线上发送的平均符号能量。 n 是 AGWN ，服从复高斯零均值，功率谱为 N0 的这样一个分布。

信道容量是发送信号 s 与接收信号 y 之间的平均互信息的最大值：

其中f(s)为输入矢量s的概率密度函数。

由于s和n独立，因此条件熵等价于n的熵，有

当 y 为零均值循环对称复高斯分布时，h(y)最大。因此当 s 为零均值循环对称复高斯分布时可使互信息最大，此时有：

接收信号的自相关矩阵为：

因此，得到容量为：

 

需要注意的是， det 的来源是零均值循环对称复高斯分布的 PDF 函数。

当发送端未知信道信息时，最好的选择是：

对应的信道容量变为：

这里的r是信道矩阵的秩，不一定是H的行数，这里转化的意思是奇异值分解。 

当发送端已知信道信息时，可以通过设计最优的自相关矩阵来获得更高的信道容量，例如通过对信道进行特征分解后，使用注水法得到最优。（注水法请自学）

因此，发送端已知信道信息时求取信道容量的问题可以转化为信道间能量分配的最优化问题。用拉格朗日法求解。

通过对信道矩阵进行特征值分解，可将 MIMO 信道转化为多个独立并行的 SISO 信道，再进行信道间功率分配就可得到最大容量。需要注意的是，在这个等价的模型中，收发信号并非我们最初的收发信号（新模型中的发射信号是经过了 SVD 预编码之前的那个信号）。 SVD 分解后的第 i 个等效信道的系统模型可写为：

4、MIMO衰落信道的容量 

中断容量反映信道的瞬时特性，首先定义中断概率为信道互信息小于某一设定值 的概率。 

其中 为中断概率为p 时对应的中断容量， I 为互信息，如果采用高斯码本，则

中断容量反映的是一个码块的特性。