第二章 信息度量
首先定义一些字符表示
如果Sx等于集合X,我们认为概率p(x)是严格正的。
现在定义定理2.1,两个随机变量x和y相互独立,如果p(x,y)=p(x)p(y)对于所有的x和y属于集合X和集合Y。
类似的当随机变量数目n>=3时候,x1,x2,x3,...,xn相互独立,如果p(x1,x2,x3,...,xn)=p(x1)p(x2)p(x3)...p(xn).
那么这个时候就有了xi和xj是成对独立的话,只要对于xi和xj独立对于1<=i<=j<=n。
此时,可以得到条件独立的概念,如上述所示。对他进行推倒:
2.5
厦
为了进一步理解这个命题,我们对这个命题进行证明,
首先证明"Only if":
1.假设p(x,y,z)满足定理2.4的条件,
2.这个时候我们让x和y他们满足p(y)>0,使得
3.同样的,
4.因此得证。函数a和b不是唯一的。
然后证明"if":
1.假设
2.对于像这样的x,y,z有:
3.类似的:
4因此得到:
6.当p(x)=0的时候,
7因此,
故证明了充分性和必要性~。
注意
进一步得到的一个命题是马尔科夫子链
香农信息度量:
首先先定义几个信息度量的定理:
熵的定义:
联合熵:
条件熵:
下面来证明一下熵以及条件熵的相互转化的公式以及一些证明方法:
证明:
互信息的概念和公式:
其实I(x;x)=H(x);
接下来说一下信息量之间的关系,通过下面的图可以直观的显示重要的信息之间的相互关系:
当然这只是二维上面的信息量之间的关系。扩展到三维的层面上来说信息量之间的复杂了。
接下来介绍一下熵之间的链式规则:
信息量的分离:
注意的是这个度量可以认为是p和q的“距离”;这个度量对于p和q来说不是对称的,也可以说不是正确的度量标准,况且这个公式不满足三角不等式。
发散不等式:
证明的时候需要用到基本不等式:如果a>0,则lna<a-1;
log-sum不等式:
在这里的Divergence隐含了log-sum不等式,反之亦然。
Pinsker’s不等式:
其中的V(p,q)的等式为:
接下来的一些有用的不等式:
Fano’s不等式:
下面介绍一下熵率:
先来看定理:
其实熵率是可能存在也可能不存在的。所以需要条件是Hx'是固定的来源的,话,hx'是存在的也就是上面说的Hx熵率。
这里介绍一下Cesaro均值如下引理:
这章的主要内容就是这些了,还有很多的推导过程需要我们自己去推导~~谢谢~~欢迎提意见~~