熵、相对熵、交叉熵等理解

**

信息量

**
假设我们听到了两件事，分别如下：
事件A：巴西队进入了2018世界杯决赛圈。
事件B：中国队进入了2018世界杯决赛圈。
仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关，一个事件发生的概率越大，不确定性越小，则其携带的信息量就越小。

设X是一个离散型随机变量，其取值为集合X=x0,x1,…,xn ，则其概率分布函数为p(x)=Pr(X=x),x∈X，则定义事件X=x0 的信息量为：

当p(x0)=1时，该事件必定发生，其信息量为0.

由于是概率所以p(x0)的取值范围是[0,1],绘制为图形如下：

熵

熵用来衡量一个系统的混乱程度，代表系统中信息量的总和；熵值越大，表明这个系统的不确定性就越大。

信息量是衡量某个事件的不确定性，而熵是衡量一个系统（所有事件）的不确定性。

熵的计算公式：

其中，p(xi)为事件X=xi的概率，−log(p(xi))为事件X=xi的信息量。

可以看出，熵是信息量的期望值。

相对熵(KL散度)

对于同一个随机变量 x 有两个单独的概率分布p