散度和KL散度的介绍

散度和KL散度的介绍

1. 梯度、散度与旋度

1.1 算子

定义一个向量算子$\nabla$(读作nabla或者del)：
$$\nabla =\frac{\partial }{\partial x}\overrightarrow{e_x}+\frac{\partial }{\partial y}\overrightarrow{e_y}+\frac{\partial }{\partial z}\overrightarrow{e_z}\text{\hspace{1em}(1.1)}$$
该算子也叫哈密顿算子，其中$\overrightarrow{e_x},\overrightarrow{e_y}和\overrightarrow{e_z}$分别是$X,Y,Z$方向的单位向量用线性代数的风格表示为($T$为转置)：
$$\nabla =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}{]}^T\text{\hspace{1em}(1.2)}$$

1.2 梯度

1. $梯度是一个向量$，它表示函数在某个点处往哪个方向走，变化最快，即梯度等于方向导数的最大值。
2. 对于一个$标量函数\psi$，定义它的梯度为：
   $$\begin{array}{rl}grad(\psi )=\nabla .\psi & =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}{]}^T.\psi \\ & =[\frac{\partial \psi }{\partial x},\frac{\partial \psi }{\partial y},\frac{\partial \psi }{\partial z}{]}^T\end{array}\text{\hspace{1em}(1.3)}$$
   梯度是$算子点乘标量函数$的过程。
3. 只有$标量函数才有梯度$，梯度是$纯量函数\Rightarrow 向量场$的过程。

1.3 散度

1. $散度是一个标量$，它表示一个闭合曲面内单位体积的通量。
2. $散度的作用对象是一个矢量函数$，对于一个$矢量函数\vec{f}=[f_x,f_y,f_z{]}^T$，散度的定义为：
   $$\begin{array}{rl}div(f)=\nabla \cdot \vec{f}={\nabla }^T\vec{f}& =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}]\left[\begin{array}{c}{f}_x\\ f_y\\ f_z\end{array}\right]\\ & =\frac{\partial f_x}{\partial x}+\frac{\partial f_y}{\partial y}+\frac{\partial f_z}{\partial z}\end{array}\text{\hspace{1em}(1.4)}$$
   可以将散度类比于线性代数中的$向量内积$，两个向量的内积是一个标量。
3. 散度是针对$矢量函数$，是$向量场\Rightarrow 纯量函数$的过程。
4. 某点散度代表了该点向外的通量体密度，其物理意义可以理解为：定量给出向量场中任一点是否为源点或汇点。
   • 若某点散度等于0，则说明其通量为0，流进=流出；
   • 若某点散度大于0，说明流出>流进，相当于一个$源点(source)$；
   • 若某点散度小于0，说明流出<流进，相当于一个$汇点(sink)$。
5. 应用：流体力学中不可压缩条件为：速度场的散度为0。

1.4 旋度

1. $旋度是一个向量$，它表示单位面积的环量，即环量面密度。
2. $旋度的作用对象是一个矢量函数$，对于一个$矢量函数\vec{f}=[f_x,f_y,f_z{]}^T$，旋度的定义为：
   $$rot(f)=\nabla \times \vec{f}=\left|\begin{array}{ccc}\overrightarrow{e_x}& \overrightarrow{e_y}& \overrightarrow{e_z}\\ \frac{\partial }{\partial x}& \frac{\partial }{\partial y}& \frac{\partial }{\partial z}\\ f_x& f_y& f_z\end{array}\right|\text{\hspace{1em}(1.5)}$$
   公式(1.5)，可以将其看做是$行列式展开计算$，其中$(\overrightarrow{e_x},\overrightarrow{e_y},\overrightarrow{e_z})$表示$x,y,z$方向的单位向量，即：
   $$\begin{array}{rl}\nabla \times \vec{f}& =(-1{)}^{1+1}\overrightarrow{e_x}(\frac{\partial f_z}{\partial y}-\frac{\partial f_y}{\partial z})+(-1{)}^{1+2}\overrightarrow{e_y}(\frac{\partial f_z}{\partial x}-\frac{\partial f_x}{\partial z})+(-1{)}^{1+3}\overrightarrow{e_z}(\frac{\partial f_y}{\partial x}-\frac{\partial f_x}{\partial y})\\ & =\overrightarrow{e_x}(\frac{\partial f_z}{\partial y}-\frac{\partial f_y}{\partial z})-\overrightarrow{e_y}(\frac{\partial f_z}{\partial x}-\frac{\partial f_x}{\partial z})+\overrightarrow{e_z}(\frac{\partial f_y}{\partial x}-\frac{\partial f_x}{\partial y})\end{array}\text{\hspace{1em}(1.6)}$$
3. 散度是针对$矢量函数$，是$向量场\Rightarrow 向量场$的过程。

1.5 对标量场的梯度求其散度

$$\begin{array}{rl}div(grad(\psi ))& =\nabla \cdot (\nabla \psi )={\nabla }^T(\nabla \psi )\\ & =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}]\left[\begin{array}{c}\frac{\partial \psi }{\partial x}\\ \frac{\partial \psi }{\partial y}\\ \frac{\partial \psi }{\partial z}\end{array}\right]\\ & =\frac{{\partial }^2\psi }{\partial x^2}+\frac{{\partial }^2\psi }{\partial y^2}+\frac{{\partial }^2\psi }{\partial z^2}\end{array}\text{\hspace{1em}(1.7)}$$
令公式(1.7)等于0，就得到了$Laplacian方程$：
$$\frac{{\partial }^2\psi }{\partial x^2}+\frac{{\partial }^2\psi }{\partial y^2}+\frac{{\partial }^2\psi }{\partial z^2}=0\text{\hspace{1em}(1.8)}$$

1.6 相关性质

1. $梯度的旋度恒为0向量$。注意这个0是零向量，不是标量的0。

   $$\begin{array}{rl}rot(grad(\psi ))& =\nabla \times \nabla \psi =\left|\begin{array}{ccc}\overrightarrow{e_x}& \overrightarrow{e_y}& \overrightarrow{e_z}\\ \frac{\partial }{\partial x}& \frac{\partial }{\partial y}& \frac{\partial }{\partial z}\\ \frac{\partial \psi }{\partial x}& \frac{\partial \psi }{\partial y}& \frac{\partial \psi }{\partial z}\end{array}\right|\\ & =\overrightarrow{e_x}(\frac{{\partial }^2\psi }{\partial y\partial z}-\frac{{\partial }^2\psi }{\partial z\partial y})-\overrightarrow{e_y}(\frac{{\partial }^2\psi }{\partial x\partial z}-\frac{{\partial }^2\psi }{\partial z\partial x})+\overrightarrow{e_z}(\frac{{\partial }^2\psi }{\partial x\partial y}-\frac{{\partial }^2\psi }{\partial y\partial x})\\ & =0\end{array}\text{\hspace{1em}(1.9)}$$

2. $旋度的散度恒为0标量$。注意这个0是是标量的0。

   $$\begin{array}{rl}rot(div(\vec{f}))& =\nabla \cdot (\nabla \times \vec{f})={\nabla }^T(\nabla \times \vec{f})\\ & =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}]\left[\begin{array}{c}\frac{\partial f_z}{\partial y}-\frac{\partial f_y}{\partial z}\\ -(\frac{\partial f_z}{\partial x}-\frac{\partial f_x}{\partial z})\\ \frac{\partial f_y}{\partial x}-\frac{\partial f_x}{\partial y}\end{array}\right]\\ & =(\frac{{\partial }^2{f}_z}{\partial y\partial x}-\frac{{\partial }^2{f}_y}{\partial z\partial x})-(\frac{{\partial }^2{f}_z}{\partial x\partial y}-\frac{{\partial }^2{f}_x}{\partial z\partial y})+(\frac{{\partial }^2{f}_y}{\partial x\partial z}-\frac{{\partial }^2{f}_x}{\partial y\partial z})\\ & =0\end{array}\text{\hspace{1em}(1.10)}$$

---

2. KL散度

2.1 KL散度简介

• KL散度的概念来源于概率论和信息论中。
• KL散度又被称为：$相对熵$、互熵、鉴别信息、Kullback熵、Kullback-Leible散度(即KL散度的简写)。
• 在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder,简称VAE)、EM算法、GAN网络中。

2.2 KL散度的定义

KL散度的定义是建立在熵(Entropy)的基础上的。此处以离散随机变量为例，先给出熵的定义，再给定KL散度定义。

1. $熵定义$
   若一个离散随机变量$X$的可能取值为 X = { x 1 , x 2 , ⋯ , x n } X=\{x_1,x_2,⋯,x_n\} X={x1​,x2​,⋯,xn​}，而对应的概率为$p_i=p(X=x_i)$，则随机变量$X$的$熵定义$为：
   $$H(X)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)\text{\hspace{1em}(2.1)}$$

   规定当$p(x_i)=0$时，$p(x_i)\log p(x_i)=0$。

2. $相对熵$
   若有两个随机变量$P$、$Q$，且其概率分布分别为$p(x)、q(x)$，则$p相对q$的$相对熵$为：
   $$D_{KL}(p||q)=\sum _{i=1}^{n}p(x)\log \frac{p(x)}{q(x)}\text{\hspace{1em}(2.2)}$$
   之所以称之为$相对熵$，是因为其可以通过两随机变量的交叉熵(Cross-Entropy)以及信息熵推导得到：

   推导：

   1. 针对上述离散变量的概率分布$p(x)、q(x)$而言，其交叉熵定义为：
      $$\begin{array}{r}H(p,q)=\sum _{x}p(x)\log \frac{1}{q(x)}=-\sum _{x}p(x)\log q(x)\end{array}$$
      在信息论中，交叉熵可认为是对预测分布$q(x)$用真实分布$p(x)$来进行编码时所需要的信息量大小。
   2. KL散度或相对熵可通过下式得出：
      $$\begin{array}{rl}{D}_{KL}(p\Vert q)& =H(p,q)-H(p)\\ & =-\sum _{x}p(x)\log q(x)-\sum _x-p(x)\log p(x)\\ & =-\sum _{x}p(x)(\log q(x)-\log p(x))\\ & =-\sum _{x}p(x)\log \frac{q(x)}{p(x)}\end{array}$$

2.3 KL散度的数学性质

KL散度可以用来衡量两个分布之间的差异，其具有如下数学性质：

2.3.1 正定性

$$D_{KL}(p||q)\ge 0\text{\hspace{1em}(2.3)}$$
可用Gibbs 不等式直接得出。先给出$Gibbs不等式$的内容：
若${\sum }_{i=1}^n{p}_i={\sum }_{i=1}^n{q}_i=1$,且$p_i,q_i\in (0,1]$,则有：
$$-\sum _i^n{p}_i\log p_i\le -\sum _i^n{p}_i\log q_i\text{\hspace{1em}(2.4)}$$
当且仅当$p_i=q_i(\forall i)$等号成立。

2.3.2 不对称性

1. KL散度并不是一个真正的度量或者距离，因为它不具有对称性：
   $$D(p\Vert q)\ne D(q\Vert p)\text{\hspace{1em}(2.5)}$$
2. 各种散度中，Jensen-Shannon divergence($JS散度$)是$对称的$。
   各种散度参考下一章节。

2.4 KL散度的理解

2.4.1 统计学意义上的KL散度:

1. 在统计学意义上来说，KL散度可以用来$衡量两个分布之间的差异程度$。
2. 若两个分布差异越小，KL散度越小；反之亦反。当两分布一致时，其KL散度为0。
3. 正是因为其可以衡量两个分布之间的差异，所以在VAE、EM、GAN中均有使用到KL散度。

2.4.2 信息论角度的KL散度:

1. KL散度在信息论中的专业术语为相对熵。
2. KL散度可理解为$编码系统对信息进行编码时所需要的平均附加信息量$。

   1. 其中信息量的单位随着计算公式中log运算的底数而变化。
      • log底数为2：单位为比特(bit)
      • log底数为e：单位为奈特(nat)
   2. 参考阅读:
      • 英文版:Kullback-Leibler Divergence Explained
      • 英文版中文翻译: 解释Kullback-Leibler散度

2.5 连续随机变量的KL散度

2.5.1 一维高斯分布的随机变量KL散度

1. 定义
   假设$p$和$q$均是服从$N({\mu }_1,{\sigma }_1^2)$和$N({\mu }_2,{\sigma }_2^2)$的随机变量的概率密度函数 (probability density function) ，则从$q$到$p$的KL散度定义为：
   $$\begin{array}{rl}{D}_{KL}(p\Vert q)& =\int [\log (p(x))-\log (q(x))]p(x)dx\\ & =\int [p(x)\log (p(x))-p(x)\log (q(x))]dx\end{array}\text{\hspace{1em}(2.6)}$$
2. 化简公式
   已知正态分布的概率密度函数(probability density function)如下式：
   $$\begin{array}{rl}p(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_1}\exp \left(-\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}\right)\\ q(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_2}\exp \left(-\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right)\end{array}\text{\hspace{1em}(2.7)}$$
   • 公式(2.6)第一项$\int p(x)\log (p(x))dx$计算如下：
     $$\begin{array}{rl}\int p(x)\log (p(x))dx& =\int p(x)\log \left[\frac{1}{\sqrt{2\pi }{\sigma }_1}\exp \left(-\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}\right)\right]dx\\ & =\int p(x)\left[\log \frac{1}{\sqrt{2\pi }{\sigma }_1}+\log \exp \left(-\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}\right)\right]dx\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_1^2\right)+\int p(x)\left(-\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}\right)dx\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_1^2\right)-\frac{\int p(x)x^{2}dx-\int p(x)2x{\mu }_{1}dx+\int p(x){\mu }_1^{2}dx}{2{\sigma }_1^2}\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_1^2\right)-\frac{\left({\mu }_1^2+{\sigma }_1^2\right)-\left(2{\mu }_1\times {\mu }_1\right)+{\mu }_1^2}{2{\sigma }_1^2}\\ & =-\frac{1}{2}\left[1+\log \left(2\pi {\sigma }_1^2\right)\right]\end{array}\text{\hspace{1em}(2.8)}$$
   • 公式(2.6)第二项可以同第一项按照类似的方式进行展开化简，如下：
     $$\begin{array}{rl}\int p(x)\log (q(x))dx& =\int p(x)\log \left[\frac{1}{\sqrt{2\pi }{\sigma }_2}\exp \left(-\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right)\right]dx\\ & =\int p(x)\left[\log \frac{1}{\sqrt{2\pi }{\sigma }_2}+\log \exp \left(-\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right)\right]dx\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)+\int p(x)\left(-\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right)dx\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)-\frac{\int p(x)x^{2}dx-\int p(x)2x{\mu }_{2}dx+\int p(x){\mu }_2^{2}dx}{2{\sigma }_2^2}\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)-\frac{\left({\mu }_1^2+{\sigma }_1^2\right)-\left(2{\mu }_2\times {\mu }_1\right)+{\mu }_2^2}{2{\sigma }_2^2}\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)-\frac{{\sigma }_1^2+{\left({\mu }_1-{\mu }_2\right)}^2}{2{\sigma }_2^2}\end{array}\text{\hspace{1em}(2.9)}$$
   • 简化一维高斯分布的随机变量KL散度公式如下：
     $$\begin{array}{rl}KL(p,q)& =\int [p(x)\log (p(x))-p(x)\log (q(x))]dx\\ & =-\frac{1}{2}\left[1+\log \left(2\pi {\sigma }_1^2\right)\right]-\left[-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)-\frac{{\sigma }_1^2+{\left({\mu }_1-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right]\\ & =\log \frac{{\sigma }_2}{{\sigma }_1}+\frac{{\sigma }_1^2+{\left({\mu }_1-{\mu }_2\right)}^2}{2{\sigma }_2^2}-\frac{1}{2}\end{array}\text{\hspace{1em}(2.10)}$$

2.5.2 多元高斯分布的随机变量KL散度

1. 假设多元高斯分布$p$和$q$:
   $$\begin{array}{rl}& p(x)\sim N\left({\mu }_1,{\Sigma }_1^2\right)=\frac{1}{(2\pi {)}^{N/2}{\left|{\Sigma }_1\right|}^{1/2}}\exp \left(-\frac{1}{2}{\left(x-{\mu }_1\right)}^T{\Sigma }_1^{-1}\left(x-{\mu }_1\right)\right)\\ & q(x)\sim N\left({\mu }_2,{\Sigma }_2^2\right)=\frac{1}{(2\pi {)}^{N/2}{\left|{\Sigma }_2\right|}^{1/2}}\exp \left(-\frac{1}{2}{\left(x-{\mu }_2\right)}^T{\Sigma }_2^{-1}\left(x-{\mu }_2\right)\right)\end{array}\text{\hspace{1em}(2.11)}$$
   其中${\mu }_1,{\mu }_2$为均值，${\Sigma }_1,{\Sigma }_2$为方差。协方差矩阵$\Sigma$满足对称正定性质，$N$为多元变量$x$的维数:
   $$\begin{array}{rl}& {\mu }_1,{\mu }_2\in {\mathbb{R}}^{N\times 1}\\ & {\Sigma }_1,{\Sigma }_2\in {\mathbb{R}}^{N\times N}\end{array}\text{\hspace{1em}(2.12)}$$
2. 多元高斯分布随机变量的KL散度写为(推导与一维高斯分布的随机变量KL散度相似)：
   D K L ( p ( x ) ∣ ∣ q ( x ) ) = ∫ p ( x ) log ⁡ p ( x ) q ( x ) d x = E p ( x ) [ log ⁡ p ( x ) − log ⁡ q ( x ) ] = 1 2 E p ( x ) [ − log ⁡ det ⁡ Σ 1 − ( x − μ 1 ) T Σ 1 − 1 ( x − μ 1 ) + log ⁡ det ⁡ Σ 2 + ( x − μ 2 ) T Σ 2 − 1 ( x − μ 2 ) ] = 1 2 log ⁡ det ⁡ Σ 2 det ⁡ Σ 1 + 1 2 E p ( x ) [ − ( x − μ 1 ) T Σ 1 − 1 ( x − μ 1 ) + ( x − μ 2 ) T Σ 2 − 1 ( x − μ 2 ) ] = 1 2 log ⁡ det ⁡ Σ 2 det ⁡ Σ 1 + 1 2 E p ( x ) { − t r [ Σ 1 − 1 ( x − μ 1 ) ( x − μ 1 ) T ] + t r [ Σ 2 − 1 ( x − μ 2 ) ( x − μ 2 ) T ] } = 1 2 log ⁡ det ⁡ Σ 2 det ⁡ Σ 1 − 1 2 t r { E p ( x ) [ Σ 1 − 1 ( x − μ 1 ) ( x − μ 1 ) T ] } + 1 2 t r { E p ( x ) [ Σ 2 − 1 ( x − μ 2 ) ( x − μ 2 ) T ] } = 1 2 log ⁡ det ⁡ Σ 2 det ⁡ Σ 1 − N 2 + 1 2 t r { E p ( x ) [ Σ 2 − 1 ( x x T − μ 2 x T − x μ 2 T + μ 2 μ 2 T ) ] } = 1 2 log ⁡ det ⁡ Σ 2 det ⁡ Σ 1 − N 2 + 1 2 t r [ Σ 2 − 1 ( Σ 1 + μ 1 μ 1 T − μ 2 μ 1 T − μ 1 μ 2 T + μ 2 μ 2 T ) ] = 1 2 log ⁡ det ⁡ Σ 2 det ⁡ Σ 1 − N 2 + 1 2 t r ( Σ 2 − 1 Σ 1 ) + 1 2 t r [ Σ 2 − 1 ( μ 1 μ 1 T − μ 2 μ 1 T − μ 1 μ 2 T + μ 2 μ 2 T ) ] = 1 2 { log ⁡ det ⁡ Σ 2 det ⁡ Σ 1 − N + t r ( Σ 2 − 1 Σ 1 ) + t r ( μ 1 T Σ 2 − 1 μ 1 − μ 1 T Σ 2 − 1 μ 2 − μ 2 T Σ 2 − 1 μ 1 + μ 2 T Σ 2 − 1 μ 2 ) } = 1 2 { log ⁡ det ⁡ Σ 2 det ⁡ Σ 1 − N + t r ( Σ 2 − 1 Σ 1 ) + t r ( μ 1 T Σ 2 − 1 μ 1 − 2 μ 1 T Σ 2 − 1 μ 2 + μ 2 T Σ 2 − 1 μ 2 ) } = 1 2 { log ⁡ det ⁡ Σ 2 det ⁡ Σ 1 − N + t r ( Σ 2 − 1 Σ 1 ) + ( μ 2 − μ 1 ) T Σ 2 − 1 ( μ 2 − μ 1 ) } (2.13) \begin{aligned} &\quad D_{KL}(p(x)||q(x))=\int p(x) \log \frac{p(x)}{q(x)} dx=\mathbb{E}_{p(x)}[\log p(x)-\log q(x)]\\ &=\frac{1}{2}\mathbb{E}_{p(x)}[-\log\det \Sigma_1-(x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1)+\log\det \Sigma_2+(x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2)]\\ &=\frac{1}{2}\log \frac{\det \Sigma_2}{\det \Sigma_1}+\frac{1}{2}\mathbb{E}_{p(x)}[-(x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1)+(x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2)]\\ &=\frac{1}{2}\log \frac{\det \Sigma_2}{\det \Sigma_1}+\frac{1}{2}\mathbb{E}_{p(x)}\{-tr[\Sigma_1^{-1}(x-\mu_1)(x-\mu_1)^T]+tr[\Sigma_2^{-1}(x-\mu_2)(x-\mu_2)^T]\}\\ &=\frac{1}{2}\log \frac{\det \Sigma_2}{\det \Sigma_1}-\frac{1}{2}tr\{\mathbb{E}_{p(x)}[\Sigma_1^{-1}(x-\mu_1)(x-\mu_1)^T]\} +\frac{1}{2}tr\{\mathbb{E}_{p(x)}[\Sigma_2^{-1}(x-\mu_2)(x-\mu_2)^T]\}\\ &=\frac{1}{2}\log \frac{\det \Sigma_2}{\det \Sigma_1}-\frac{N}{2} +\frac{1}{2}tr\{\mathbb{E}_{p(x)}[\Sigma_2^{-1}(xx^T-\mu_2x^T-x\mu_2^T+\mu_2\mu_2^T)]\}\\ &=\frac{1}{2}\log \frac{\det \Sigma_2}{\det \Sigma_1}-\frac{N}{2} +\frac{1}{2}tr[\Sigma_2^{-1}(\Sigma_1+\mu_1\mu_1^T-\mu_2\mu_1^T-\mu_1\mu_2^T+\mu_2\mu_2^T)]\\ &=\frac{1}{2}\log \frac{\det \Sigma_2}{\det \Sigma_1}-\frac{N}{2} +\frac{1}{2}tr(\Sigma_2^{-1}\Sigma_1)+\frac{1}{2}tr[\Sigma_2^{-1}(\mu_1\mu_1^T-\mu_2\mu_1^T-\mu_1\mu_2^T+\mu_2\mu_2^T)]\\ &=\frac{1}{2}\{\log \frac{\det \Sigma_2}{\det \Sigma_1}-N +tr(\Sigma_2^{-1}\Sigma_1)+tr(\mu_1^T\Sigma_2^{-1}\mu_1-\mu_1^T\Sigma_2^{-1}\mu_2-\mu_2^T\Sigma_2^{-1}\mu_1+\mu_2^T\Sigma_2^{-1}\mu_2)\}\\ &=\frac{1}{2}\{\log \frac{\det \Sigma_2}{\det \Sigma_1}-N +tr(\Sigma_2^{-1}\Sigma_1)+tr(\mu_1^T\Sigma_2^{-1}\mu_1-2\mu_1^T\Sigma_2^{-1}\mu_2+\mu_2^T\Sigma_2^{-1}\mu_2)\}\\ &=\frac{1}{2}\{\log \frac{\det \Sigma_2}{\det \Sigma_1}-N +tr(\Sigma_2^{-1}\Sigma_1)+(\mu_2-\mu_1)^T\Sigma_2^{-1}(\mu_2-\mu_1)\}\\ \end{aligned}\tag{2.13} ​DKL​(p(x)∣∣q(x))=∫p(x)logq(x)p(x)​dx=Ep(x)​[logp(x)−logq(x)]=21​Ep(x)​[−logdetΣ1​−(x−μ1​)TΣ1−1​(x−μ1​)+logdetΣ2​+(x−μ2​)TΣ2−1​(x−μ2​)]=21​logdetΣ1​detΣ2​​+21​Ep(x)​[−(x−μ1​)TΣ1−1​(x−μ1​)+(x−μ2​)TΣ2−1​(x−μ2​)]=21​logdetΣ1​detΣ2​​+21​Ep(x)​{−tr[Σ1−1​(x−μ1​)(x−μ1​)T]+tr[Σ2−1​(x−μ2​)(x−μ2​)T]}=21​logdetΣ1​detΣ2​​−21​tr{Ep(x)​[Σ1−1​(x−μ1​)(x−μ1​)T]}+21​tr{Ep(x)​[Σ2−1​(x−μ2​)(x−μ2​)T]}=21​logdetΣ1​detΣ2​​−2N​+21​tr{Ep(x)​[Σ2−1​(xxT−μ2​xT−xμ2T​+μ2​μ2T​)]}=21​logdetΣ1​detΣ2​​−2N​+21​tr[Σ2−1​(Σ1​+μ1​μ1T​−μ2​μ1T​−μ1​μ2T​+μ2​μ2T​)]=21​logdetΣ1​detΣ2​​−2N​+21​tr(Σ2−1​Σ1​)+21​tr[Σ2−1​(μ1​μ1T​−μ2​μ1T​−μ1​μ2T​+μ2​μ2T​)]=21​{logdetΣ1​detΣ2​​−N+tr(Σ2−1​Σ1​)+tr(μ1T​Σ2−1​μ1​−μ1T​Σ2−1​μ2​−μ2T​Σ2−1​μ1​+μ2T​Σ2−1​μ2​)}=21​{logdetΣ1​detΣ2​​−N+tr(Σ2−1​Σ1​)+tr(μ1T​Σ2−1​μ1​−2μ1T​Σ2−1​μ2​+μ2T​Σ2−1​μ2​)}=21​{logdetΣ1​detΣ2​​−N+tr(Σ2−1​Σ1​)+(μ2​−μ1​)TΣ2−1​(μ2​−μ1​)}​(2.13)

   其中运用到的一些矩阵等式：

   1. $Ep(\cdot )$代表⋅在概率密度函数$p(x)$的期望。多元正态分布下期望矩阵化的表示
      $$E(x^{T}Ax)=tr(A\Sigma )+{\mu }^{T}A\mu \text{\hspace{1em}(2.14)}$$
   2. 矩阵的迹的性质
      $$\begin{array}{l}\text{ 矩阵线性组合迹不变: }\mathrm{tr}(\alpha A+\beta B)=\alpha \mathrm{tr}(A)+\beta \mathrm{tr}(B)\\ \text{ 矩阵转置迹不变: }\mathrm{tr}(A)=\mathrm{tr}\left(A^T\right)\\ \text{ 两方阵相乘交换迹不变： }\mathrm{tr}(AB)=\mathrm{tr}(BA)\\ \text{ 轮换不变性: }\mathrm{tr}(ABC)=\mathrm{tr}(BCA)=\mathrm{tr}(CAB)\end{array}\text{\hspace{1em}(2.15)}$$
   3. 对于列向量$\lambda$，${\lambda }^{T}A\lambda$的结果是一个标量，而标量的迹就是这个标量，即$tr({\lambda }^{T}A\lambda )={\lambda }^{T}A\lambda$，因此
      $${\lambda }^{T}A\lambda =tr({\lambda }^{T}A\lambda )=tr(A\lambda {\lambda }^T)\text{\hspace{1em}(2.16)}$$
   4. 多元高斯分布中均值$\mu$和方差$\Sigma$的性质：
      $$E[x{x}^T]=\Sigma +\mu {\mu }^T\text{\hspace{1em}(2.17)}$$
      $$E(x^{T}Ax)=tr(A\Sigma )+{\mu }^{T}A\mu \text{\hspace{1em}(2.18)}$$

因此：
$$\begin{array}{rl}{D}_{KL}(p\Vert q)=& \frac{1}{2}\log \frac{|{\Sigma }_2|}{|{\Sigma }_1|}+\frac{1}{2}{E}_{p(x)}\left[{\left(x-{\mu }_2\right)}^T{\Sigma }_2^{-1}\left(x-{\mu }_2\right)-{\left(x-{\mu }_1\right)}^T{\Sigma }_1^{-1}\left(x-{\mu }_1\right)\right]\\ =& \frac{1}{2}\log \frac{|{\Sigma }_2|}{|{\Sigma }_1|}+\frac{1}{2}\mathrm{tr}\left({\Sigma }_2^{-1}{\Sigma }_1\right)+{\left({\mu }_1-{\mu }_2\right)}^T{\Sigma }_2^{-1}{\left({\mu }_1-{\mu }_2\right)}^T-\frac{1}{2}N\end{array}\text{\hspace{1em}(2.19)}$$

参考：

• 快速理解梯度，散度和旋度
• 梯度、散度、旋度与矢量分析
• Kullback-Leibler Divergence Explained
• KL散度(Kullback-Leibler Divergence)介绍及详细公式推导