熵、交叉熵、KL散度、JS散度、推土机理论

本文参照知乎文章： 原文链接

信息量

假设一件事情A，它发生的概率为p(A)，则其具有的信息量为-log(p(A))，一件事情发生的概率越小，其具有的信息量越大。

熵

熵就是信息量的期望，如公式1.
$$H(X)=-\sum _{i=1}^{n}p\left(x_i\right)\log \left(p\left(x_i\right)\right)\text{\hspace{1em}(1)}$$
当只有两种可能时即二项分布时，可写为公式2的形式。
$$H(X)=-\sum _{i=1}^{n}p\left(x_i\right)\log \left(p\left(x_i\right)\right)=-p(x)\log (p(x))-(1-p(x))\log (1-p(x))\text{\hspace{1em}(2)}$$

KL散度与交叉熵

KL散度公式如公式3，注意其不是距离，不满足距离的性质。
不对称也不满足三角不等式。
$$D_{KL}(p\Vert q)=\sum _{i=1}$$