1.信息论主要理论和MMSE评估
1.1引言
香农创立信息论,广泛应用于信息科学,数据压缩和存储,通信;我们主要学习信息论中的通信数学理论;(需要一点基础,有关通信原理,概率论,随机过程)
1.2信号分布
通信研究的是复数信号;实部--in-phase(同相)分量;虚部--quadrature(正交)分量;
如此,我们定义一个复数标量s作为信号,其服从复高斯分布,均值为0,方差为1.(该分布很常见,且很重要,因此这个概念自行百度学习,一般为实部虚部相互独立,都服从相同高斯分布)
但实际传输的复数信号s是实部和虚部从分布中选取M个取值,构成M个点组成的,定义为s0,...,sM-1;s集合各自出现的概率分别为p0,...,pM-1;
这样我们就得到了一个基本概念:星座图
M-PSK:选取M个信号的方式如下
Φ0是随机初始相位,不影响;而经典的B-PSK和QPSK就是分别M取2和4;
M-QAM:选取M个信号的方式如下,同相和正交分量都从下面这个集合取值构成一个信号s,4QAM和QPSK是重合的;
有上图为例,我们知道两种方式下,信号集合之间的最小距离(抗干扰能力)如下表
下面主要是信息论部分,可以跳过
1.3信息量
重要基本概念:信息=不确定性;
因此我们要了解一些基本的随机变量和随机过程;随机意味着不确定性。
首先,我们用bit单位,即熵中采用log2为底,别的也有byte(log8),nat(loge)。(看下面)
1.3.1熵
单个随机变量情况(需要概率论知识)
假设x是离散随机变量,其概率密度函数PMF是px(-),则随机变量x的熵求法定义如下:
熵H(x)非负,和x取值无关,与x不同取值的概率有关,x均匀分布是H(x)最大的情况=log2(M)
联合随机变量情况
假设x0,x1是离散随机变量,联合PMF为px0x1(-,-),边缘概率为px0,px1
联合熵求法定义为:
如果二者独立
条件相关随机变量情况
如果我们知道了随机变量y的结果,那么x还有多少不确定性(熵),求法如下
反之,我们也能推出H(x,y)
当延伸到向量,涉及到两个以上的变量时,链式规则概括为
(上述部分是一些基本概念,写不清楚的地方,搞不懂可以搜信息论,概率论视频)
1.3.2微分熵
要求随机变量x是连续的,在得知x的概率密度函数PDF时,求法如下
要小心,这是在复平面进行积分,和前面求熵不同。具体先不太关心略过。
我们只给出两个重要的例子,复高斯微分熵。
(1.20)告诉我们
1:微分熵有平移不变性,与均值μ无关,因此总是可以对一个随机连续变量均值取0求微分熵。
2:告诉我们对于一个方差为σ²的随机变量x,其微分熵一定≤(1.21)
R是协方差矩阵(计算方法请百度),上面这个证明可以自行搜索别的文章。
1.3.3熵速率
结束对信息内容的讨论,让我们将注意力从随机变量转向随机过程(随机过程也是一本书,可以自行学习简单了解)。离散随机过程{x0,...,xN−1}是由时间索引n确定的N个离散随机变量序列组合而成。如果其中x0,...,xN−1的是完全独立同分布(简写为IID),
这个随机过程{x0,...,xN-1}的熵,会随着N增加而按照速率H(x0)线性增加,则记熵速率为:
如果是平稳过程,即x的概率不随时间改变,则有熵速率为:
1.4相关熵
快到信道容量的知识了,加油。。。其实推理过程挑着看,看重点,不多。
两个离散变量,知道PMF,且二者相关。则有依赖q下的p相对信息熵为
有不同,没负号,而且形式和条件熵不同,留意一下:
对于两个连续变量,定义类似:
1.4.2互信息量
给定两个随机变量s和y,它们之间的互信息,用I(s;y)表示,量化了当观察到y时发生的s值的不确定性的减少,反之亦然。互信息是对称的,因此I(s;y)= I(y;s)。用最简单的术语来说,互信息度量一个随机变量所包含的关于另一个随机变量的信息。
离散情况如下(可跳过)
连续情况如下(可跳过):
信息论部分结束
熵和微分熵以及互信息都有平移不变性,不受相应随机变量的均值的影响,因此,在接下来的推导中,可以限制为零均值分布。
复高斯噪声信道的容量:
ρ是信噪比,s是发送符号,z是噪声,ρs+z是接收符号y
其他例如MIMO复数高斯噪声信道容量等,在书中,这里不列写。
1.5可靠通信
1.5.1基本抽象化的通信链路
我们发送2^(Nbits)的数据,先每2个一组,共有N个复数符号s[0],...,s[N-1],接着放大成发送信号x[0],...,x[N-1],
内容有点多,一点点记录写吃不住,我会后面大概率可能会只挑重点出来记录,这第一章剩下的内容,打算只记录后面的最大似然ML和最小均方误差MMSE,以及线性LMMSE章节的重要内容。