KL散度公式详解

目录

Jensen’s inequality

• $f(\int \mathrm{x}p(x)dx)⩽\int f(x)p(x)dx$,根据$f(E(x))⩽\mathbb{E}(f(x))$Jensen’s inequality推。
• $\mathrm{K}\mathrm{L}(p\Vert q)=-\int p(\mathbf{x})\ln \left\{\frac{q(\mathbf{x})}{p(\mathbf{x})}\right\}\mathrm{d}\mathbf{x}⩾-\ln \int q(\mathbf{x})\mathrm{d}\mathbf{x}=0$，只有当$p(x)$,$q(x)$相等时等号成立。

讲解KL散度（又名relative entropy）

• 定义$\mathrm{K}\mathrm{L}(p\Vert q)=-\int p(\mathbf{x})\ln \left\{\frac{q(\mathbf{x})}{p(\mathbf{x})}\right\}\mathrm{d}\mathbf{x}$
• $-lnx$是严格的凸函数，由Jensen’s inequality有$\mathrm{K}\mathrm{L}(p\Vert q)=-\int p(\mathbf{x})\ln \left\{\frac{q(\mathbf{x})}{p(\mathbf{x})}\right\}\mathrm{d}\mathbf{x}⩾-\ln \int q(\mathbf{x})\mathrm{d}\mathbf{x}=0$
• 在实际应用中 K L ( p ∥ q ) ≃ ∑ n = 1 N { − ln ⁡ q ( x n ∣ θ ) + ln ⁡ p ( x n ) } \mathrm{KL}(p \| q) \simeq \sum_{n=1}^{N}\left\{-\ln q\left(\mathbf{x}_{n} | \boldsymbol{\theta}\right)+\ln p\left(\mathbf{x}_{n}\right)\right\} KL(p∥q)≃∑n=1N​{−lnq(xn​∣θ)+lnp(xn​)}
  • 注释：对于前面KL定义可知用的样本点服从$p(x)$，故原来积分可等于上式，例如$E(x)=\int \mathrm{x}f(x)dx\simeq \frac{1}{N}\sum \mathrm{f}(x_i)$，重要性采样等方法都用到这个方法。

mutual information

1.如果数据集变量x与y不独立，就考虑$p(x)p(y)$去近似，就可得到mutual information：

$\begin{array}{rl}\mathrm{I}[\mathbf{x},\mathbf{y}]& \equiv \mathrm{K}\mathrm{L}(p(\mathbf{x},\mathbf{y})\Vert p(\mathbf{x})p(\mathbf{y}))\\ & =-\iint p(\mathbf{x},\mathbf{y})\ln \left(\frac{p(\mathbf{x})p(\mathbf{y})}{p(\mathbf{x},\mathbf{y})}\right)\mathrm{d}\mathbf{x}\mathrm{d}\mathbf{y}\end{array}$

2.利用概率的和法则和乘积法则，可以得出互信息与条件熵的关系：

$\mathrm{I}[\mathbf{x},\mathbf{y}]=\mathrm{H}[\mathbf{x}]-\mathrm{H}[\mathbf{x}|\mathbf{y}]=\mathrm{H}[\mathbf{y}]-\mathrm{H}[\mathbf{y}|\mathbf{x}]$