KL散度非负性证明

1 KL散度

KL散度(Kullback–Leibler divergence) 定义如下：
　　$$D_{KL}=\sum _{i=1}^{n}P\left(x_i\right)\times \log \left(\frac{P(x_i)}{Q(x_i)}\right)$$
目标：证明上式非负。

2 凸函数与凹函数

连续函数$f(x)$的定义域为$I$，如果对$I$内任意两个实数$x_1,x_2$及任意实数$\lambda \in (0,1)$，都有
$$f\left(\lambda x_1+(1-\lambda )x_2\right)\le \lambda f\left(x_1\right)+(1-\lambda )f\left(x_2\right)(1)$$
则称$f(x)$是$I$上的凸函数（下凸）。
若有
$$f\left(\lambda x_1+(1-\lambda )x_2\right)\ge \lambda f\left(x_1\right)+(1-\lambda )f\left(x_2\right)(2)$$
则称$f(x)$为$I$上的凹函数。
举例：
$log(x)$是凹函数，反之$-log(x)$是凸函数。

3 加权Jensen不等式

若$f(x)$是区间$[a,b]$上的凸函数，则对任意的实数$x_1,x_2,\cdots ,x_n\in [a,b]$，对所有的非实数$a_1,a_2,\cdots a_n\ge 0$，且$a_1+a_2+\cdots a_n=1$, 则下列不等式成立。
$$f\left(a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n\right)\le a_{1}f\left(x_1\right)+a_{2}f\left(x_2\right)+\cdots +a_{n}f\left(x_n\right)$$

4 证明KL散度非负性

KL散度(Kullback–Leibler divergence) 定义如下：
$$D_{KL}=\sum _{i=1}^{n}P(x_i)\times \log \left(\frac{P(x_i)}{Q(x_i)}\right)$$

其中：
$$\sum _{i=1}^{n}P(x_i)=1$$
由于log(x)是凹函数，所以-log(x)是凸函数，因此将 KL散度定义式先变形再应用加权Jensen不等式，得：
$$\begin{array}{rl}{D}_{KL}& =\sum _{i=1}^{n}P\left(x_i\right)\times \log \left(\frac{P(x_i)}{Q(x_i)}\right)\\ & =\sum _{i=1}^{n}P\left(x_i\right)\times \left(-\log \left(\frac{Q(x_i)}{P(x_i)}\right)\right)\\ & \ge -\log \left(\sum _{i=1}^{n}P\left(x_i\right)\times \frac{Q(x_i)}{P(x_i)}\right)\\ & =-\log \left(\sum _{i=1}^{n}Q\left(x_i\right)\right)\end{array}$$
Tips：Jensen不等式中的$x_i$在这里相当于$\frac{P(x_i)}{Q(x_i)}$；$f$相当于$-log()$; $a_i$相当于$P(x_i)$。
由于$Q(x_i)$是一个概率分布，因此和$P(x_i)$一样满足下面的式子${\sum }_{i=1}^{n}Q\left(x_i\right)=1$因此可以得到
$$D_{KL}\ge -\log (1)=0$$
到此KL散度非负性得证。

参考链接：
https://www.cnblogs.com/BlairGrowing/p/15859968.html