香农辅助定理、KL散度和Jensen不等式

香农辅助定理

对于任意两个信息数相同的信源$X$和$Y$。有
$$-\sum _{i=1}^{N}p(x_i){\log }_{2}p(x_i)\le -\sum _{i=1}^{N}p(x_i){\log }_{2}p(y_i)$$
其中${\sum }_{i=1}^{N}p(x_i)={\sum }_{i+1}^{N}p(y_i)=1$

通俗的来说，任一概率分布对其他概率分布的自信息量取数学期望，必大于等于本身的熵，当且仅当$X$和$Y$的概率分布完全相同时取等号。不等式的左边是$X$的信源熵，即无损压缩条件下的最短平均编码长度。不等式的右侧，以信源$Y$的概率分布$p(y)$得到的最优编码，来为概率分布为$p(x)$的信源$X$的字符进行编码而计算得的平均码长。

KL散度

KL散度又称为相对熵，是用来体现两个概率分布之间差别的非对称性度量，即$KL(P||Q)\ne KL(Q||P)$。相对熵可以作为一些优化算法的损失函数来度量模型概率分布和真实分布之间的差距。
设$P(x)$和$Q(x)$是随机变量$X$上的两个概率分布，则在离散和连续的情况下，KL散度的定义为：
$$\begin{gathered} KL(P||Q)=\sum P(x)\ln \frac{P(x)}{Q(x)} \\ KL(P||Q)=\int P(x)\ln \frac{P(x)}{Q(x)}dx \end{gathered}$$
值得注意的是，香农辅助定理稍加变形就成为了KL散度的形式：
$$\begin{gathered} -\sum _{i=1}^{N}p(x_i){\log }_{2}p(x_i)\le -\sum _{i=1}^{N}p(x_i){\log }_{2}p(y_i) \\ \sum _{i=1}^{N}p(x_i){\log }_2\frac{p(x_i)}{p(y_i)}\ge 0 \\ \frac{1}{\ln 2}\times \sum _{i=1}^{N}p(x_i)\ln \frac{p(x_i)}{p(y_i)}\ge 0 \\ \sum _{i=1}^{N}p(x_i)\ln \frac{p(x_i)}{p(y_i)}\ge 0 \end{gathered}$$
所以，证明香农辅助定理等价于证明KL散度为正值。

琴生(Jensen)不等式

首先说明一点，本文所说的凸函数和凹函数采用的是国际上的习惯称呼。以一元函数为例，曲线往下凸的函数称为凸函数，曲线往上凸的称为凹函数。这与国内教材的习惯相反。
Jensen不等式是关于凸函数性质的不等式，也可以类推得到关于凹函数性质的不等式。对于凸函数曲线$f(x)$而言，有
$$\begin{gathered} tf(x_1)+(1-t)f(x_2)\ge f(t{x}_1+(1-t)x_2) \\ 0\le t\le 1 \end{gathered}$$
这是Jensen不等式的两点形式。

对于任意点集 { x i } \{x_i\} {xi​}，若${\lambda }_i\ge 0，\sum {\lambda }_i=1$，$f(x)$是凸函数，有
$$f(\sum {\lambda }_i{x}_i)\le \sum {\lambda }_{i}f(x_i)$$
此结论是Jensen不等式两点形式的推广，可以由数学归纳法简单证明。当${\lambda }_i$取$p(x_i)$时，上式变为：
$$f(E(x))\le E(f(x))$$

应用微分的思想，可以由离散形式的Jensen不等式转变为连续形式。若$\int g(x)=1,g(x)\ge 0$且$f(x)$是凸函数。有
$$f(\int g(x)h(x)dx)\le \int g(x)f(h(x))dx$$
这是Jensen不等式的一般形式，对于凹函数只需要变号即可。

应用Jensen不等式可以快速证明KL散度非负，即香农辅助定理成立，无需赘言。