KL散度

最新推荐文章于 2023-08-23 20:48:45 发布

Loy_Fan

最新推荐文章于 2023-08-23 20:48:45 发布

阅读量413

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/weixin_43318626/article/details/105378623

版权

Kullback-Leibler散度（KL散度）是衡量两个概率分布差异的非对称性度量，常用于信息理论、编码、机器学习中的优化算法如EM算法。它在连续和离散情况下有不同的计算公式，当理论分布完全匹配真实分布时，KL散度为0。在深度学习中，其性质被用于梯度下降，避免了梯度消失问题。相对熵的不对称性可能导致不同的下降速度，但交叉熵损失函数解决了这一问题。

摘要由CSDN通过智能技术生成

相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。
在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值。

在信息理论中，相对熵是用来度量使用基于的编码来编码来自的样本平均所需的额外的比特个数。

相对熵是一些优化算法，例如最大期望算法（Expectation-Maximization algorithm, EM）的损失函数。此时参与计算的一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗。

离散型
$D_{K L}(p \| q)=\sum_{i=1}^{N}\left[p\left(x_{i}\right) \log p\left(x_{i}\right)-p\left(x_{i}\right) \log q\left(x_{i}\right)\right]$