KL散度（Kullback–Leibler divergence）

统计学上，KL散度用来衡量一个概率分布Q对另一个概率分布P偏离的程度，记为$D_{KL}(P||Q)$. 在信息论的编码理论中，KL散度也称为相对熵(relative entropy)或信息增益(information gain). 在，用来度量使用$Q$的最优编码（而不是使用$P$的最优编码）来编码来自$P$的样本平均额外所需的比特数，即用概率分布$Q$来拟合真实分布$P$时产生的信息损耗。

由香农信息论，给定一个字符集的概率分布，可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少. 假设这个字符集是$X$，$\forall x\in X$，$x$出现的概率为$P(x)$，那么其最优编码所需要的比特数等于这和字符集的熵(entropy)：

H(x)=−