直观理解-信息熵&KL Divergence

信息熵

简介

任何信息都存在冗余，冗余大小与信息中每个符号的出现概率或者说不确定性有关。

信息熵用于解决对信息的量化度量问题，描述信源的不确定度。

香农第一次用数学语言阐明了概率与信息冗余度的关系。

基本内容

通常一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量，概率大，出现的机会多，不确定性小；反之不确定性大。

不确定函数f应该

1、满足概率P的减函数。

2、两个独立符号所产生的不确定性应该等于各个不确定性之和，即f(P1,P2)=f(P1)+f(P2)，这称为可加性。

同时满足这两个条件的函数f为对数函数。

 

 

eg.

 

 

image-20191129111408258.png

 

由例子：

• 当未接收到任何信息时，信息的不确定度为log(1/(1/8))=3bits

• 当收到一个0时候，已经确定了一个bit，那么只有可能在x1～x4中，此时不确定性变为log(1/(1/4))=2bits。3-2正好为1bit。

• 依此类推，当收到011时，已经可以完全确定为x4，此时信息的不确定性为0。

所以获取信息就是我们消除不确定性。

在信源中，考虑的不是某一个单一符号发生的不确定性，而是考虑这个信源所有可能发生情况的平均不确定性。若信源符号有n种取值：U1,U2,U3……Un对应概率为：P1,P2,P3……Pn，各种符号出现彼此独立。这时信源的平均不确定性应当为单个符号不确定性的统计平均值E，则称为信息熵。