交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离

1 信息量

       任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是它们承载的信息量会有所不同。如昨天下雨这个已知事件，因为已经发生，既定事实，那么它的信息量就为0。如明天会下雨这个事件，因为未有发生，那么这个事件的信息量就大。从上面例子可以看出信息量是一个与事件发生概率相关的概念，而且可以得出，事件发生的概率越小，其信息量越大。
       假设$X$是一个离散型随机变量，则定义事件$X=x_0$的信息量为：
$$I(x_0)=-log(p(x_0))$$

2 信息熵

       如果我们把一个事件的所有可能性罗列出来，就可以求得该事件信息量的期望，信息量的期望就是信息熵，所以信息熵的公式为：
$$H(x)=-\sum _{i=1}^{n}p(x_i)log(p(x_i))$$
       信息熵是衡量随机变量分布的混乱程度，是随机分布各事件发生的信息量的期望值，随机变量的取值个数越多，状态数也就越多，信息熵就越大，混乱程度就越大。当随机分布为均匀分布时，熵最大

3 相对熵(KL散度)

       相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度来衡量这两个分布的差异。在机器学习中，P往往用来表示样本的真实分布，Q用来表示模型所预测的分布，那么KL散度就可以计算两个分布的差异，也就是Loss，取值范围是（0，正无穷）。公式如下：
D K L ( p ∣ ∣ q ) = ∑ i = 1 n p ( x i ) l o g ( p ( x i ) q ( x i ) ) D_{KL}(p||q)=\sum_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)}) DKL​(p∣∣q)=i=1∑n​p(x