kl divergence matlab,直观理解-信息熵&KL Divergence

信息熵

简介

任何信息都存在冗余，冗余大小与信息中每个符号的出现概率或者说不确定性有关。

信息熵用于解决对信息的量化度量问题，描述信源的不确定度。

香农第一次用数学语言阐明了概率与信息冗余度的关系。

基本内容

通常一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量，概率大，出现的机会多，不确定性小；反之不确定性大。

不确定函数f应该

1、满足概率P的减函数。

2、两个独立符号所产生的不确定性应该等于各个不确定性之和，即f(P1,P2)=f(P1)+f(P2)，这称为可加性。

同时满足这两个条件的函数f为对数函数。

eg.

image-20191129111408258.png

由例子：

当未接收到任何信息时，信息的不确定度为log(1/(1/8))=3bits

当收到一个0时候，已经确定了一个bit，那么只有可能在x1～x4中，此时不确定性变为log(1/(1/4))=2bits。3-2正好为1bit。

依此类推，当收到011时，已经可以完全确定为x4，此时信息的不确定性为0。

所以获取信息就是我们消除不确定性。

在信源中，考虑的不是某一个单一符号发生的不确定性，而是考虑这个信源所有可能发生情况的平均不确定性。若信源符号有n种取值：U1,U2,U3……Un对应概率为：P1,P2,P3……Pn，各种符号出现彼此独立。这时信源的平均不确定性应当为单个符号不确定性的统计平均值E，则称为信息熵。

式中对数一般取2为底，单位为比特。但是也可以取其他对数为底，采用其他相应的单位，他们之间可用换底公式转换。

举例

最简单的单符号信源仅取0和1两个元素，即二元信源，其概率为P和Q=1-P，该信源的熵如图。

直观理解

好比海上有有一座灯塔，但是灯塔上的灯由于电线接触不良，亮和不亮是随机的。如果灯塔上有人，就可以在灯灭的时候及时点亮。此时灯塔就是一个信源，会出现下面的情况：

1、灯塔一直亮就代表塔上有人，灯塔一直不亮就代表塔上没人。此时信息是确认的，所以信息熵为0.

2、灯塔亮的频率高，说明有人的概率高。灯塔不亮的概率高，说明没人的概率高。当亮和不亮的几率刚好都为0.5的时候，我们最难猜测灯塔上有没有人。所以此时灯塔这个信源传出的信息的不确定信是最高的，信息熵为1.

这与热力学的熵是一致的，熵越大，越混乱，不确定程度越高。

离散信源的信息熵特性

1、非负性：即收到一个信源符号所获的的信息量应为正值。

2、对称性：对称与P=0.5

3、确定性：H(1,0)=0，即P=0或P=1是确定状态，所得信息量为0

4、极值性：因H(U)是P上的上凸函数，且一阶导在P=0.5时等于0.所以P=0.5时H(U)最大。

(对于连续信源，香农给出了形式上类似于离散信源的连续熵Hc(U)，虽然连续熵仍具有可加性，但不具有非负性。但是在表达信源差距时，仍然具有非负性，这与力学中势能的定义相仿。)

熵率

引入背景

如果给定长度为n的随机变量序列，那么这个序列的熵随n如何增长？所以引入熵率。

定义

当以下极限存在时候，随机过程{Xi}的熵率定义为：

eg

打字机可以等可能输出m个字母，由此打字机产生长度为n的序列k。

则序列k的信息熵

熵率为

该打字机的熵率为常数(即单个字符的信息熵)，所以没增加一个字符，他的熵增加量是恒定的。

(归纳：对于独立同分布的随机变量，熵率就等于其单个变量的熵)

条件熵

但是，对一些独立但非同分布的随机变量序列，因为对每个元素的熵是不相等的，所以极限不存在。

此时可以定义熵率的一个相关量(如果下列极限存在)：

H和H‘这两个量反映了熵率概念的两个不同方面。第一个量指的是n个随机变量的每字符熵，第二个变量指在已知前面n-1随机变量的情况下最后一个随机变量的条件熵。

重要定理

定理1

对于平稳随机过程，H与H’均存在极限，并且相等。

定理2

对于平稳随机过程，H‘存在极限，并随n递减。

谱熵(Spectral Entropy)

简介

描述了功率谱和熵率之间的关系

实例

实例1 在白噪声中检测正弦信号

这是一段白噪声，在中间加入了正弦信号。

对这段信号计算spectral entropy(谱熵)，可以容易发现，中间含有正弦信号的区域，谱熵明显降低。这是因为正弦信号的信息的出现使得这段信号的不确定性下降了。

实例2 噪声与语音信号的能量熵与谱熵

可以看出，噪声的信息不确定性要明显高于语音信号。

KL Divergence

简介

在概率论或者信息论中，KL散度又称为相对熵(relative entropy)，是描述两个概率分布P和Q差异的一种方法。它是非对称的，这意味着它是非对称的，即D(P||Q) ≠ D(Q||P)。

特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，会产生的信息损耗，其中P是真实分布，Q表示P的拟合分布。

有人将KL散度称为KL距离，但实际上，KL散度不满足距离的概念：

1、KL散度是非对称的。

2、KL散度不满足三角不等式。

定义式

离散型

连续型

性质

KLD是非负的。

直观理解

将离散型KLD公式展开

可以看到这是两个离散型的信息熵，而第一项用Q拟合P会产生信息损失，那么信息的不确定性会增大，从而信息熵就会增大。所以第一项大于第二项。整体KLD为正。