高斯分布的KL散度

KL散度的定义：

在概率论或信息论中，KL散度(Kullback-Leibler divergence), 又称为相对熵(relative entropy),是藐视两个概率分布 P 和 Q 之间差异的一种方法。KL散度是非对称的，即 D(P || Q) ≠ D(Q || P)。在信息论中，D(P || Q)表示当用概率分布Q来拟合真是分布P时，产生的信息损耗，其中P表示真是分布，Q表示P的拟合分布。

有人将KL散度称为KL距离，但事实上，KL散度并不满足距离的概念，因为：
1）KL散度是非对称的
2）KL散度不满足三角不等式

对一个离散随机变量或连续随机变量的两个概率分布P和Q来说，KL散度的定义分别如下：

• Discrete random variable
  $D(P||Q)=\sum _{i\in X}P(i)\ast \left[log\left(\frac{P(i)}{Q(i)}\right)\right]$

• Continuous random variable
  $D(P||Q)={\int }_{x}P(x)\ast \left[log\left(\frac{P(x)}{Q(x)}\right)\right]dx$

KL散度和信息熵的关系

在信息论中,KL散度的物理意义：

• 信息量
  信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。
  信息量的大小与信息发生的概率成反比。概率越大，信息量越小。概率越小，信息量越大。
  设某一事件发生的概率为P(x)，其信息量表示为：$\mathrm{I}(\mathrm{x})=-log(P(x))=log\left(\frac{1}{P(x)}\right)$
  其中$\mathrm{I}(\mathrm{x})$表示信息量，这里$log$表示以e为底的自然对数。

• KL散度在信息论中有自己明确的物理意义，它是用来度量使用基于Q分布的编码来编码来自P分布的样本平均所需的额外的Bit个数。而其在机器学习领域的物理意义则是用来度量两个函数的相似程度或者相近程度，在泛函分析中也被频繁地用到。

• 下面式子中$绿色$和$红色$部分就表示 信息量。

在香农信息论中，用基于P的编码去编码来自P的样本，其最优编码平均所需要的比特个数(即这个字符集的熵)为：
$$H(x)=\sum _{x\in X}\underset{P中各字符出现的频率}{\underbrace{P(x)}}\ast \underset{P中此字符对应的编码长度}{\underbrace{log\left(\frac{1}{P(x)}\right)}}$$

用基于P的编码去编码来自Q的样本，则所需要的比特个数变为：
$$H^{\prime }(x)=\sum _{x\in X}\underset{P中各字符出现的频率}{\underbrace{P(x)}}\ast \underset{此时各字符来自Q，各字符编码长度对应于Q的分布，与P无关}{\underbrace{log\left(\frac{1}{Q(x)}\right)}}$$

于是，可以得出P与Q的KL散度：
$\begin{array}{rl}D(P||Q)=& H^{\prime }(x)-H(x)=\sum _{x\in X}P(x)\ast log(\frac{1}{Q(x)})-\sum _{x\in X}P(x)\ast log(\frac{1}{P(x)})\\ =& \sum _{x\in X}P(x)\ast log(\frac{P(x)}{Q(x)})\end{array}$

KL散度非负的证明

• 利用Jensen不等式可以证明P与Q之间的KL散度一定是非负的：
  Jensen不等式：
  $$log\sum _i{\lambda }_i{y}_i\ge \sum _i{\lambda }_{i}log{y}_i其中，{\lambda }_i\ge 0,\sum _i{\lambda }_i=1$$
  $\begin{array}{rl}D(P||Q)=& \sum _{x\in X}P(x)\ast log(\frac{P(x)}{Q(x)})\\ =& \underset{x\sim P(x)}{E}\left[log\left(\frac{P(x)}{Q(x)}\right)\right]\\ =& -\underset{x\sim P(x)}{E}\left[log\left(\frac{Q(x)}{P(x)}\right)\right]\\ \ge & -log\left(\sum _{x\in X}P(x)\ast \frac{Q(x)}{P(x)}\right)=-log\left(\sum _{x\in X}Q(x)\right)=0\end{array}$

我的另一篇博客___KL散度详解

参考KL散度的含义与性质

高斯分布的KL散度

一元高斯分布的KL散度

对于两个单一连续变量的高斯分布$P(x)\sim \mathcal{N}({\mu }_1,{\sigma }_1^2),Q(x)\sim \mathcal{N}({\mu }_2,{\sigma }_2^2)$.
由连续随机变量的KL散度定义得：
$$\begin{array}{rl}KL(P||Q)=& KL(\mathcal{N}({\mu }_1,{\sigma }_1^2)||\mathcal{N}({\mu }_2,{\sigma }_2^2)\\ & \\ =& {\int }_x\frac{1}{{\sigma }_1\sqrt{2\pi }}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}log\left(\frac{\frac{1}{{\sigma }_1\sqrt{2\pi }}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}}{\frac{1}{{\sigma }_2\sqrt{2\pi }}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}}\right)dx\\ & \\ =& {\int }_x\frac{1}{{\sigma }_1\sqrt{2\pi }}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}\left[log\frac{{\sigma }_2}{{\sigma }_1}-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}\right]dx\end{array}$$
把上式分为3项来分别求解：
第一项：
$$log\frac{{\sigma }_2}{{\sigma }_1}{\int }_x\frac{1}{{\sigma }_1\sqrt{2\pi }}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}dx=log\frac{{\sigma }_2}{{\sigma }_1}$$
第二项需要分辨出积分项为方差：
$$\begin{array}{rl}-\frac{1}{{\sigma }_1\sqrt{2\pi }}{\int }_x\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}dx=& -\frac{1}{{\sigma }_1\sqrt{2\pi }}{\int }_x{\left(\frac{x-{\mu }_1}{{\sigma }_1\sqrt{2}}\right)}^2{e}^{-{\left(\frac{x-{\mu }_1}{{\sigma }_1\sqrt{2}}\right)}^2}dx\\ =& -\frac{1}{\sqrt{\pi }}{\int }_x{\left(\frac{x-{\mu }_1}{{\sigma }_1\sqrt{2}}\right)}^2{e}^{-{\left(\frac{x-{\mu }_1}{{\sigma }_1\sqrt{2}}\right)}^2}d\left(\frac{x-{\mu }_1}{{\sigma }_1\sqrt{2}}\right)\\ =& -\frac{1}{\sqrt{\pi }}{\int }_t{t}^2.e^{-t^2}dt\\ =& -\frac{1}{\sqrt{\pi }}.\frac{\sqrt{\pi }}{2}\\ =& -\frac{1}{2}\end{array}$$
$---------------推导过程如下：------------------$
$${\int }_{-\infty }^{+\infty }{x}^2.e^{-x^2}dx=2{\int }_0^{+\infty }{x}^2.e^{-x^2}dx\stackrel{t=x^2}{=}{\int }_0^{+\infty }\sqrt{t}.e^{-t}dt$$
$\Gamma$函数如下：
$$\Gamma (s)={\int }_0^{+\infty }{x}^{s-1}.e^{-x}dx$$
$\Gamma$函数的性质有：
$\Gamma (s+1)=s\Gamma (s)$
$\Gamma (1)=1\Gamma (\frac{1}{2})=\sqrt{\pi }\Gamma (n+1)=n!$

$$\Gamma (\frac{3}{2})={\int }_0^{+\infty }\sqrt{x}.e^{-x}dx=\Gamma (\frac{1}{2}+1)=\frac{1}{2}.\Gamma (\frac{1}{2})=\frac{\sqrt{\pi }}{2}$$
所以：
$${\int }_{-\infty }^{+\infty }{x}^2.e^{-x^2}dx=\frac{\sqrt{\pi }}{2}$$
$---------------------------------$
第三项的积分内部分别是均方值、均值和常数，因此可以得到：
$$\begin{array}{rl}{\int }_x\frac{1}{{\sigma }_1\sqrt{2\pi }}.\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}.e^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}dx=& \frac{1}{2{\sigma }_1{\sigma }_2^2\sqrt{2\pi }}{\int }_x\left(x^2-2x{\mu }_2+{\mu }_2^2\right).e^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}dx\\ =& \frac{{\sigma }_1^2+{\mu }_1^2-2{\mu }_1{\mu }_2+{\mu }_2^2}{2{\sigma }_2^2}\\ =& \frac{{\sigma }_1^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}\end{array}$$
$-------------计算过程：----------------$
其中第一项为方差，第二项为奇函数全积分为0，第三项为常数可以提取为系数：
$$\begin{array}{rl}{\int }_x\frac{1}{{\sigma }_1\sqrt{2\pi }}.\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}.e^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}dx=& \frac{1}{2{\sigma }_2^2}{\int }_x\left[(x-{\mu }_1{)}^2+2({\mu }_1-{\mu }_2)(x-{\mu }_1)+({\mu }_1-{\mu }_2{)}^2\right].\frac{1}{{\sigma }_1\sqrt{2\pi }}.e^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}dx\\ =& \frac{{\sigma }_1^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}\end{array}$$
$-----------------------------$
整理最终结果得：
$\begin{array}{rl}KL(P||Q)=& KL(\mathcal{N}({\mu }_1,{\sigma }_1^2)||\mathcal{N}({\mu }_2,{\sigma }_2^2))\\ =& log\frac{{\sigma }_2}{{\sigma }_1}+\frac{{\sigma }_1^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}-\frac{1}{2}\end{array}$

多元高斯分布的KL散度

$\mathrm{x}\in {\mathbb{R}}^d$
$$\mathcal{N}(\mathrm{x}\mid \mu ,\Sigma )=\frac{1}{(2\pi {)}^{\frac{d}{2}}|\Sigma {|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}(\mathrm{x}-\mu {)}^{\mathrm{T}}{\Sigma }^{-1}(\mathrm{x}-\mu )}$$
$P(\mathrm{x})\sim \mathcal{N}(\mathrm{x}|{\mu }_1,{\Sigma }_1)Q(\mathrm{x})\sim \mathcal{N}(\mathrm{x}|{\mu }_2,{\Sigma }_2)$
$$\begin{array}{rl}& \mathrm{KL}\left(\mathcal{N}\left(\mathrm{x}\mid {\mu }_1,{\Sigma }_1\right)||\mathcal{N}\left(\mathrm{x}\mid {\mu }_2,{\Sigma }_2\right)\right)\\ =& {\int }_{{\mathrm{x}}_1}\cdots {\int }_{{\mathrm{x}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{\mathrm{d}}{2}}{\left|{\Sigma }_1\right|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)}\log \frac{\frac{1}{(2\pi {)}^{\frac{d}{2}}{|{\Sigma }_1|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)}}{\frac{1}{(2\pi {)}^{\frac{d}{2}}{|{\Sigma }_2|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_2\right)}^{\mathrm{T}}{\Sigma }_2^{-1}\left(\mathrm{x}-{\mu }_2\right)}}\mathrm{d}{\mathrm{x}}_1\cdots \mathrm{d}{\mathrm{x}}_{\mathrm{d}}\\ =& {\int }_{{\mathrm{x}}_1}\cdots {\int }_{{\mathrm{x}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{d}{2}}{\left|{\Sigma }_1\right|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }^{-1}\left(\mathrm{x}-{\mu }_1\right)}\left[\frac{1}{2}\log \frac{\left|{\Sigma }_2\right|}{\left|{\Sigma }_1\right|}-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)+\frac{1}{2}{\left(\mathrm{x}-{\mu }_2\right)}^{\mathrm{T}}{\Sigma }_2^{-1}\left(\mathrm{x}-{\mu }_2\right)\right]{\mathrm{dx}}_1\cdots \mathrm{d}{\mathrm{x}}_{\mathrm{d}}\end{array}$$
同样分布计算3项的结果：
第一项：
$$\frac{1}{2}\log \frac{\left|{\Sigma }_2\right|}{\left|{\Sigma }_1\right|}{\int }_{{\mathrm{x}}_1}\cdots {\int }_{{\mathrm{x}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{d}{2}}{\left|{\Sigma }_1\right|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)}{\mathrm{dx}}_1\cdots \mathrm{d}{\mathrm{x}}_{\text{d }}=\frac{1}{2}\log \frac{\left|{\Sigma }_2\right|}{\left|{\Sigma }_1\right|}$$
第二项：
$$-\frac{1}{2}{\int }_{{\mathrm{x}}_1}\cdots {\int }_{{\mathrm{x}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{d}{2}}{\left|{\Sigma }_1\right|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right){\mathrm{dx}}_1\cdots {\mathrm{dx}}_{\mathrm{d}}$$

${\Sigma }_1$为半正定对称矩阵，设${\Sigma }_1^{-1}={\mathrm{U}}^{\mathrm{T}}\mathrm{U},\mathrm{y}=\mathrm{U}(\mathrm{x}-{\mu }_1)$, 由于线性变换矩阵就是雅克比矩阵，因此：
$${\mathrm{dy}}_1\cdots {\mathrm{dy}}_{\mathrm{d}}=|\mathrm{U}|{\mathrm{dx}}_1\cdots {\mathrm{dx}}_{\mathrm{d}}$$
由$|{\Sigma }_1^{-1}=|{\mathrm{U}}^2|$,可知$|{\Sigma }_1^{-\frac{1}{2}}|=|{\Sigma }_1{|}^{-\frac{1}{2}}=|\mathrm{U}|$, 因此：
$$\begin{array}{rl}& -\frac{1}{2|{\Sigma }_1{|}^{\frac{1}{2}}}{\int }_{{\mathrm{y}}_1}\cdots {\int }_{{\mathrm{y}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{d}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\mathrm{y}}^{\mathrm{T}}\mathrm{y}}{\mathrm{y}}^{\mathrm{T}}y|U{|}^{-1}\mathrm{d}{\mathrm{y}}_1\cdots \mathrm{d}{\mathrm{y}}_{\mathrm{d}}\\ =& -\frac{1}{2{\left|{\Sigma }_1\right|}^{\frac{1}{2}}}{\left|{\Sigma }_1\right|}^{\frac{1}{2}}\cdot \mathrm{d}=-\frac{\mathrm{d}}{2}\end{array}$$
第三项：
需要用到的小技巧：
$${\mathrm{x}}^{T}A\mathrm{x}=\mathrm{tr}\left(A\mathrm{x}{\mathrm{x}}^T\right)$$
$$\begin{array}{l}\frac{1}{2}{\int }_{{\mathrm{x}}_1}\cdots {\int }_{{\mathrm{x}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{\mathrm{d}}{2}}{|{\Sigma }_1|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)}{\left(\mathrm{x}-{\mu }_2\right)}^{\mathrm{T}}{\Sigma }_2^{-1}\left(\mathrm{x}-{\mu }_2\right){\mathrm{dx}}_1\cdots {\mathrm{dx}}_{\mathrm{d}}\\ =\frac{1}{2}{\int }_{{\mathrm{x}}_1}\cdots {\int }_{{\mathrm{x}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{d}{2}}{|{\Sigma }_1|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)}\mathrm{tr}\left[{\Sigma }_2^{-1}\left(\mathrm{x}-{\mu }_2\right){\left(\mathrm{x}-{\mu }_2\right)}^{\mathrm{T}}\right]{\mathrm{dx}}_1\cdots {\mathrm{dx}}_{\mathrm{d}}\\ =\frac{1}{2}\mathrm{tr}\left[{\Sigma }_2^{-1}{\int }_{{\mathrm{x}}_1}\cdots {\int }_{{\mathrm{x}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{\mathrm{d}}{2}}{|{\Sigma }_1|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)}\left(\mathrm{x}-{\mu }_2\right){\left(\mathrm{x}-{\mu }_2\right)}^{\mathrm{T}}\right]\mathrm{d}{\mathrm{x}}_1\cdots {\mathrm{dx}}_{\mathrm{d}}\\ =\frac{1}{2}\mathrm{tr}\left[{\Sigma }_2^{-1}{\int }_{{\mathrm{x}}_1}\cdots {\int }_{{\mathrm{x}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{\mathrm{d}}{2}}{|{\Sigma }_1|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)}\left({\mathrm{xx}}^{\mathrm{T}}-{\mu }_2{\mathrm{x}}^{\mathrm{T}}-{\mathrm{x}}_2^{\mathrm{T}}+{\mu }_2{\mu }_2^{\mathrm{T}}\right)\right]{\mathrm{dx}}_1\cdots {\mathrm{dx}}_{\mathrm{d}}\end{array}$$
其中积分之后第一项为均方值，第二、三项为均值，第三项为常数：
$$\begin{array}{l}\frac{1}{2}\mathrm{tr}\left[{\Sigma }_2^{-1}{\int }_{\mathrm{x}1}\cdots {\int }_{{\mathrm{x}}_{\mathrm{d}}}\frac{1}{(2\pi {)}^{\frac{\mathrm{d}}{2}}{|{\Sigma }_1|}^{\frac{1}{2}}}{\mathrm{e}}^{-\frac{1}{2}{\left(\mathrm{x}-{\mu }_1\right)}^{\mathrm{T}}{\Sigma }_1^{-1}\left(\mathrm{x}-{\mu }_1\right)}\left({\mathrm{xx}}^{\mathrm{T}}-{\mu }_2{\mathrm{x}}^{\mathrm{T}}-\mathrm{x}{\mu }_2^{\mathrm{T}}+{\mu }_2{\mu }_2^{\mathrm{T}}\right)\right]\mathrm{d}{\mathrm{x}}_1\cdots \mathrm{d}{\mathrm{x}}_{\text{d }}\\ =\frac{1}{2}\mathrm{tr}\left[{\Sigma }_2^{-1}\left({\Sigma }_1+{\mu }_1{\mu }_1^{\mathrm{T}}-{\mu }_2{\mu }_1^{\mathrm{T}}-{\mu }_1{\mu }_2^{\mathrm{T}}+{\mu }_2{\mu }_2^{\mathrm{T}}\right)\right]\\ =\frac{1}{2}\left[\mathrm{tr}\left({\Sigma }_2^{-1}{\Sigma }_1\right)+\mathrm{tr}\left({\Sigma }_2^{-1}\left({\mu }_1-{\mu }_2\right){\left({\mu }_1-{\mu }_2\right)}^{\mathrm{T}}\right)\right]\\ =\frac{1}{2}\left[\mathrm{tr}\left({\Sigma }_2^{-1}{\Sigma }_1\right)+{\left({\mu }_1-{\mu }_2\right)}^{\mathrm{T}}{\Sigma }_2^{-1}\left({\mu }_1-{\mu }_2\right)\right]\end{array}$$
整理最终结果，两个高斯分布的KL散度为：
$$\mathrm{KL}\left(\mathcal{N}\left(\mathrm{x}\mid {\mu }_1,{\Sigma }_1\right)||\mathcal{N}\left(\mathrm{x}\mid {\mu }_2,{\Sigma }_2\right)\right)=\frac{1}{2}\left[\log \frac{\left|{\Sigma }_2\right|}{\left|{\Sigma }_1\right|}-\mathrm{K}+\mathrm{tr}\left({\Sigma }_2^{-1}{\Sigma }_1\right)+{\left({\mu }_1-{\mu }_2\right)}^{\mathrm{T}}{\Sigma }_2^{-1}\left({\mu }_1-{\mu }_2\right)\right]$$

参考博客
Diffusion Model中的高斯分布的KL散度