相对熵(KL散度)

https://zhuanlan.zhihu.com/p/37452654

https://blog.csdn.net/weixinhum/article/details/85064685

交叉熵和相对熵

相对熵(KL散度)

KL 散度：衡量每个近似分布与真实分布之间匹配程度的方法：

\[D_{K L}(p \| q)=\sum_{i=1}^{N} p\left(x_{i}\right) \log \left(\frac{p\left(x_{i}\right)}{q\left(x_{i}\right)}\right) \]

其中 q(x) 是近似分布，p(x) 是我们想要用 q(x) 匹配的真实分布。直观地说，这衡量的是 给定任意分布偏离真实分布的程度。如果两个分布完全匹配，那么

\[D_{K L}(p \| q)=0 \]

，否则它的取值应该是在 0 到无穷大(inf)之间。KL 散度越小，真实分布与近似分布之间的匹配就越好。

交叉熵