信息论中的不等式

1. 凸函数定义

凸函数$f(x)$定义有两个方法：
1）$f^{''}(x) \ge 0$
2）$\lambda f(x_1)+(1-\lambda f(x_2) \ge f(\lambda x_1+(1-\lambda)x_x)$
用这两种定义来证明函数凸性各有利弊。
常用的凸函数有：$-\log x,\ x\log x,\ e^x,\ \frac{1}{1+e^{-x}}$

2. Jessen不等式

$Ef(x) \ge f(Ex)$
其中$f(x)$为凸函数。
将其中期望值E函数改为更容易理解的形式为：
$\sum_i p_i f(x_i) \ge f(\sum_i p_i x_i)$
其中$p_i$为概率分布，即$\sum_ p_i = 1,\ p_i \ge 0$。
如果$f(x)=\log t$，则很容易推导KL散度或者互熵大于零。
如果$f(x)=t \log t$，则很容易推导对数和不等式。
进一步，只要$f(x)$是凸函数，可能有很多变种，譬如$f_1(x)f_2(x),\ \frac{f_1(x)}{f_2(x)},\ f_1(x)^{f_2(x)},\ ...$等复杂形式。
对于$\sum f \ge f(\sum)$类，或者积分类的不等式证明都可能通过构造方法应用Jessen不等式来证明。

3. 对数和不等式

$a_i > 0,\ b_i>0$`，则`$\sum_i a_i \log \frac{a_i}{b_i} \ge (\sum_i a_i)\log \frac{\sum_i a_i}{\sum_i b_i}$

用Jessen不等式来证明，关键在于构造$f(x)$和E中的$Q_i$，左侧为$Ef(x)$，右侧为$f(Ex)$，所以构造的$f(x)=t\log t, \ t_i=\frac{a_i}{b_i}$，于是要求$\sum_i Q_i\frac{a_i}{b_i} = \frac{\sum_i a_i}{\sum_i b_i}$，因此，$Q_i=\frac{b_i}{\sum_i b_i}$，最终展开如下：

$\sum_i \frac{b_i}{\sum_i b_i}\frac{a_i}{b_i} \log \frac{a_i}{b_i} \ge (\sum_i \frac{b_i}{\sum_i b_i}\frac{a_i}{b_i})\log \frac{\sum_i a_i}{\sum_i b_i}$