信息理论-第二章

第二章 信息度量

首先定义一些字符表示

如果Sx等于集合X，我们认为概率p(x)是严格正的。

现在定义定理2.1，两个随机变量x和y相互独立，如果p(x,y)=p(x)p(y)对于所有的x和y属于集合X和集合Y。

类似的当随机变量数目n>=3时候，x1,x2,x3,...,xn相互独立，如果p(x1,x2,x3,...,xn)=p(x1)p(x2)p(x3)...p(xn).

那么这个时候就有了xi和xj是成对独立的话，只要对于xi和xj独立对于1<=i<=j<=n。

此时，可以得到条件独立的概念，如上述所示。对他进行推倒：

2.5

厦

为了进一步理解这个命题，我们对这个命题进行证明，

首先证明"Only if":

1.假设p(x,y,z)满足定理2.4的条件，

2.这个时候我们让x和y他们满足p(y)>0,使得

3.同样的，

4.因此得证。函数a和b不是唯一的。

然后证明"if":

1.假设

2.对于像这样的x,y,z有：

3.类似的：

4因此得到：

   

6.当p(x)=0的时候，

7因此，

故证明了充分性和必要性~。

注意

进一步得到的一个命题是马尔科夫子链

香农信息度量：

首先先定义几个信息度量的定理：

熵的定义：

联合熵：

条件熵：

下面来证明一下熵以及条件熵的相互转化的公式以及一些证明方法：

证明：

互信息的概念和公式：

其实I(x;x)=H(x);

接下来说一下信息量之间的关系，通过下面的图可以直观的显示重要的信息之间的相互关系：

当然这只是二维上面的信息量之间的关系。扩展到三维的层面上来说信息量之间的复杂了。

接下来介绍一下熵之间的链式规则：

信息量的分离：

注意的是这个度量可以认为是p和q的“距离”；这个度量对于p和q来说不是对称的，也可以说不是正确的度量标准，况且这个公式不满足三角不等式。

发散不等式：

证明的时候需要用到基本不等式:如果a>0,则lna<a-1;

log-sum不等式：

在这里的Divergence隐含了log-sum不等式，反之亦然。

Pinsker’s不等式：

其中的V(p,q)的等式为:

接下来的一些有用的不等式：

Fano’s不等式：

下面介绍一下熵率：

先来看定理：

其实熵率是可能存在也可能不存在的。所以需要条件是Hx'是固定的来源的，话，hx'是存在的也就是上面说的Hx熵率。

这里介绍一下Cesaro均值如下引理：

这章的主要内容就是这些了，还有很多的推导过程需要我们自己去推导~~谢谢~~欢迎提意见~~