KL散度超详细讲解

KL散度定义

KL(Kullback-Leibler divergence)散度多应用于概率论或信息论中，又可称相对熵(relative entropy)。它是用来描述两个概率分布P和Q的差异的一种方法。
【记】KL具有非对称性，即D(P||Q) ≠ D(Q||P)。
在信息论中，D(P||Q) 表示用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布

KL散度公式定义

对于离散型随机变量有：

对于连续型随机变量有：

KL散度的物理定义

在信息论中，它是用来度量使用基于Q分布的编码来编码来自P分布的样本平均所需的额外的比特(bit)个数。
在机器学习领域，是用来度量两个函数的相似程度或者相近程度。
在信息论中，用基于P的编码去编码来自P的样本，其最优编码平均所需要的比特个数（即这个字符集的熵）为：

用基于P的编码去编码来自Q的样本，则所需要的比特个数变为：

【注】P(x)为各字符出现的频率，log($\frac{1}{P(x)}$)为该字符相应的编码长度，log($\frac{1}{Q(x)}$)为对应于Q的分布各字符编码长度。
那么KL散度即可表示为如下：

简要介绍Jensen不等式

利用Jensen不等式证明P与Q之间的KL散度不小于0：