KL距离（Kullback-Leibler Divergence）

KL距离，是Kullback-Leibler差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。并不是一种距离度量方式，其物理意义是：在相同事件空间里，概率分布P(x)对应的每个事件，若用概率分布 Q(x)编码时，平均每个基本事件（符号）编码长度增加了多少比特。我们用D（P||Q）表示KL距离，计算公式如下：
$$D(P||Q)=\sum _{x\in X}P(x)log\frac{P(x)}{Q(x)}\text{\hspace{1em}(1)}$$
由公式（1）可以知道：

1. 当P(x)=Q(x)时，D(P||Q)=0,即其相对熵为零。
2. 当P(x)和Q(x)相似度越高时，KL距离越小
3. D(P||Q)非负（非负性）
4. 不满足对称性，即D(P||Q)≠D(Q||P)
5. 不满足三角不等式

下面我们举例来解释一下：
以下列出了三个概率分布，已知真实事件的概率分布为f,如下表达式（2）它只有两种状态（0或1），剩下的两个分布是对f的拟合，如下表达式（3）和（4），求他们与真实分布f的差异。
$$f(0)=\frac{1}{2},f(1)=\frac{1}{2}\text{\hspace{1em}(2)}$$
$$f_1^{\ast }(0)=\frac{1}{3},f_1^{\ast }(1)=\frac{2}{3}\text{\hspace{1em}(3)}$$
$$f_2^{\ast }(0)=\frac{1}{4},f_2^{\ast }(1)=\frac{3}{4}\text{\hspace{1em}(4)}$$
通过计算我们可以得到：
$$\begin{gathered} D(f||f_1^{\ast })=\sum _{x\in X}f(x)log\frac{f(x)}{f_1^{\ast }(x)}=f(0)log\frac{f(0)}{f_1^{\ast }(0)}+f(1)log\frac{f(1)}{f_1^{\ast }(1)} \\ =\frac{1}{2}log\frac{\frac{1}{2}}{\frac{1}{3}}+\frac{1}{2}log\frac{\frac{1}{2}}{\frac{2}{3}}=\frac{1}{2}log\frac{9}{8}\text{\hspace{1em}(5)} \end{gathered}$$
$$\begin{gathered} D(f||f_2^{\ast })=\sum _{x\in X}f(x)log\frac{f(x)}{f_2^{\ast }(x)}=f(0)log\frac{f(0)}{f_2^{\ast }(0)}+f(1)log\frac{f(1)}{f_2^{\ast }(1)} \\ =\frac{1}{2}log\frac{\frac{1}{2}}{\frac{1}{4}}+\frac{1}{2}log\frac{\frac{1}{2}}{\frac{3}{4}}=\frac{1}{2}log\frac{4}{3}\text{\hspace{1em}(6)} \end{gathered}$$
由（5）和（6）的计算我们可以知道，较真实数据分布相比，我们拟合的分布平均编码长度增加了，同时第（3）种分布较第（4）种分布的KL距离更小，说明第（3）种分布更接近真实分布。

为了证明其不满足对称性，我们做如下计算：
$$\begin{gathered} D(f_2^{\ast }||f)=\sum _{x\in X}{f}_2^{\ast }(x)log\frac{f_2^{\ast }(x)}{f(x)}=f_2^{\ast }(0)log\frac{f_2^{\ast }(0)}{f(0)}+f_2^{\ast }(1)log\frac{f_2^{\ast }(1)}{f(1)} \\ =\frac{1}{4}log\frac{\frac{1}{4}}{\frac{1}{2}}+\frac{3}{4}log\frac{\frac{3}{4}}{\frac{1}{2}}=\frac{1}{4}log\frac{1}{2}+\frac{3}{4}log\frac{3}{2}=\frac{1}{4}log\frac{27}{16}̸=\frac{1}{2}log\frac{4}{3}\text{\hspace{1em}(7)} \end{gathered}$$

由计算（7）可以知道，KL距离不满足对称性。

KL距离的几个用途：

1. 衡量两个概率分布的差异。

2. 衡量利用概率分布Q 拟合概率分布P 时的能量损耗，也就是说拟合以后丢失了多少的信息。

3. 衡量两个概率分布的相似度，在运动捕捉里面可以衡量未添加标签的运动与已添加标签的运动，进而进行运动的分类。

参考博客：
https://blog.csdn.net/scw1023/article/details/59109922