KL散度的含义

熵的定义

$$H=-\sum _{i=1}^{N}p(x_i)log(p(x_i))$$

KL散度实际含义

$$D=\sum _{i=1}^{N}p(x_i)lo{g}_2(\frac{q(x_i)}{p(x_i)})=\sum _{i=1}^{N}p(x_i)\ast (lo{g}_2(q(x_i))-lo{g}_2(p(x_i)))$$

实际用途

在很多情况下，我们没有办法计算出来真正的概率，我们只能尽可能的去拟合。在上式子中，$p(x_i)$是真实的概率, $q(x_i)$是我们的拟合概率的函数，最后可以用这个作为loss来优化

参考链接

可能有用的地方

给定两组数据
$p:p_1,p_2,p_3,...p_n$，且p是真实数据
$q:q_1,q_2,q_3,...q_n$
可以用这个loss: $$loss=\sum _{i=0}^n(p_i-q_i{)}^2\ast lo{g}_2(\frac{q_i^2}{p_i^2})$$

我们可以发现有这么一个性质，当$p_i$越靠近$q_i$时候，loss越小，反之越大

可能的延伸

把KL散度中的概率表示加入进去