从jensen不等式到相对熵的非负性性

从jensen不等式到相对熵的非负性性

 前言：在上上次博客我们证明观测到的归一化的频率就是最大似然估计的解时，我们用到了相对熵恒大于等于0的性质，那么本文就当是扩展一下知识，主要以证明和介绍为主。
  首先我们简要介绍一下熵的概念。“熵”这一概念并不仅仅存在于物理化学中，还应用于信息论中。熵是结果不确定度的一种度量。shannon熵定义为：
$H(x)=-{\sum }_{i}P\left(x_i\right)\log P\left(x_i\right)$
其中X为随机变量，它在K个事件$x_1$,$x_2$,$x_k$的离散集合上有概率P($x_i$)
 ps:我们可以试着证明一下当其实均匀分布时，它的熵值最大。(思路提示：可以用用最小二乘法。具体详见下篇文章。)
  相对熵又称KL散度，信息散度，是两个概率分布间差异的非对称性度量。令P(X),Q(X)是随机变量X的概率分布，则在其实离散型随机变量的情况下，相对熵为：
$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$
  故我们观察相对熵的形式可以发现，它可以看做是对数几率(计分矩阵中的分值)的期望，即将P(X)看做是在匹配模型M中的残基a,b的联配概率，而Q(X)看做是无关模型中的残基a,b的独立出现的概率。故相对熵可作为模型的期望分值。
  回归本文的主题，即证明相对熵的正定性。因为证明的过程中用到了jensen
不等式，所以我们先证明一下jensen不等式。
  jensen不等式在概率论、机器学习、测度论等有着广泛的应用。
 证明之前我们先了解凸函数的性质：
$tf\left(x_1\right)+(1-t)f\left(x_2\right)\ge f\left(t{x}_1+(1-t)x_2\right)$
$x_1$,$x_2$是凸函数上的任意两点，且t属于[0,1]

证明过程如下：
  若对于任意的点集{$x_i$},若${\lambda }_i$>0,且${\sum }_i{\lambda }_i=1$， 请证明凸函数f(x)满足：
$f\left({\sum }_{i=1}^M{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$
数学归纳法进行证明：
当i=1或2时，由凸函数的性质一易知该不等式成立。
假设当i=M时，不等式成立。
现在证当i=M+1时，该不等式也成立。即证明： $f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^{M+1}{\lambda }_{i}f\left(x_i\right)$  我们首先处理不等号左边的式子：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)$ = $f\left({\sum }_{i=1}^M{\lambda }_i{x}_i+{\lambda }_{M+1}{x}_{M+1}\right)$
为了符合凸函数中t,(1-t)的形式，我们令$a_i=\frac{{\lambda }_i}{1-{\lambda }_{M+1}}$

故 $f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)$=$f\left({\lambda }_{M+1}{x}_{M+1}+\left(1-{\lambda }_{M+1}\right){\sum }_{i=1}^M{a}_i{x}_i\right)$
所以根据凸函数的性质对等号右边的式子进一步处理可得：

$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\lambda }_{M+1}f\left(x_{M+1}\right)+\left(1-{\lambda }_{M+1}\right)f\left({\sum }_{i=1}^M{a}_i{x}_i\right)$
根据我们的假设当i=M,不等式成立得：
$f\left({\sum }_{i=1}^m{a}_i{x}_i\right)⩽{\sum }_{i=1}^M{a}_{i}f\left(x_i\right)$
所以将上一个式子带入上上个式子中得：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\lambda }_{M+1}f\left(x_{M+1}\right)+\left(1-{\lambda }_{M+1}\right){\sum }_{i=1}^M{a}_{i}f\left(x_i\right)$

又因为$a_i=\frac{{\lambda }_i}{1-{\lambda }_{M+1}}$ 代入得：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)⩽{\lambda }_{M+1}f\left(x_{M+1}\right)+{\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$=${\sum }_{i=1}^{M+1}{\lambda }_{i}f\left(x_i\right)$
 因此当i=M+1时，jensen不等式亦成立。
综上，jensen不等式成立。同理可证，但函数为凹函数时，jensen不等式的符号相反。
 jensen不等式可以用来证明均值不等式、Holder不等式以及柯西不等式。同时jensen不等式可以用来证明相对熵的正定性。
All right, 我们已经证明了jensen不等式成立，可以放心的使用啦。
 相对熵的非负性性证明：
证明：$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ >=0
即证：-$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ <=0
即证： ${\sum }_{i}P\left(x_i\right)\log Q\left(x_i\right)+{\sum }_{i}P\left(x_i\right)\log \frac{1}{P\left(x_i\right)}$ <=0
因为将P(x)看做是自变量，故$\log \frac{1}{P\left(x_i\right)}$可看做是凹函数。
故在凹函数下，根据jensen不等式：
$f\left({\sum }_{i=1}^M{\lambda }_i{x}_i\right)⩽{\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$
故：
${\sum }_{i}P\left(x_i\right)\log \frac{1}{P\left(x_i\right)}$<=$\log 1$=0
即可证：
-$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ <=0
证得：
$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$>=0

参考资料：刘勇. 关于詹森不等式证明不等式问题[J]. 科教文汇(29期):136-136.