Jensen不等式的证明

命题

若 $f(x)$ 为区间 $X$ 上的凸函数，则 $\forall n \in \mathbb N, n \ge 1,$ 若 $\forall i \in \mathbb N, 1 \le i \le n, x_i \in X, \lambda_i \in \mathbb R,$
$\lambda_i >0,$ 且 $\sum_{i=1}^{n} \lambda_i = 1,$ 则：

$$f(\sum_{i=1}^{n} \lambda_i x_i) \le \sum_{i=1}^{n} \lambda_i f(x_i)$$

证明：

$n = 1$ 时，显然成立。
设 $n$ 时成立。则：
$\sum_{i=1}^{n + 1} \lambda_i= 1 \Rightarrow \sum_{i=1}^{n} \lambda_i + \lambda_{n + 1} = 1 \Rightarrow \sum_{i=1}^{n} \lambda_i = 1 - \lambda_{n + 1} \Rightarrow \sum_{i=1}^{n} \dfrac{\lambda_i}{1 - \lambda_{n + 1}} = 1$
令 $x' =\sum_{i=1}^{n} \dfrac{\lambda_i}{1 - \lambda_{n + 1}} x_i,$ 则：
$\sum_{i=1}^{n + 1} \lambda_i x_i = \sum_{i=1}^{n} \lambda_i x_i + \lambda_{n + 1} x_{n + 1}$
$= (1 - \lambda_{n + 1}) \sum_{i=1}^{n} \dfrac{\lambda_i}{1 - \lambda_{n + 1}} x_i + \lambda_{n + 1} x_{n + 1}$
$= (1 - \lambda_{n + 1})x' + \lambda_{n + 1} x_{n + 1}$
$\Rightarrow f(\sum_{i=1}^{n + 1} \lambda_i x_i ) = f((1 - \lambda_{n + 1})x' + \lambda_{n + 1} x_{n + 1})$
$\le (1 - \lambda_{n + 1}) f(x') + \lambda_{n + 1} f(x_{n + 1})$
$\le (1 - \lambda_{n + 1}) \sum_{i=1}^{n} \dfrac{\lambda_i}{1 - \lambda_{n + 1}} f(x_i) + \lambda_{n + 1} f(x_{n + 1})$
$= \sum_{i=1}^{n + 1} \lambda_i f(x_i)$

Jensen不等式的扩展

若 $f(x)$ 为区间 $Y$ 上的凸函数，$g(x): X \rightarrow Y$ 为一任意函数， 则 $\forall n \in \mathbb N, n \ge 1,$ 若 $\forall i \in \mathbb N, 1 \le i \le n, x_i \in X, \lambda_i \in \mathbb R,$
$\lambda_i >0,$ 且 $\sum_{i=1}^{n} \lambda_i = 1,$ 则：

$$f \left (\sum_{i=1}^{n} \lambda_i g(x_i) \right ) \le \sum_{i=1}^{n} \lambda_i f \left ( g(x_i) \right )$$

推论

若 $f(x)$ 为区间 $R$ 上的凸函数，$g(x): R \rightarrow R$ 为一任意函数，$X$ 为一取值范围有限的离散变量， $E [f \left ( g(X) \right ) ]$ 与 $E[g(X)]$ 都存在，则：

$$E [f \left ( g(X) \right ) ] \ge f \left (E[g(X)] \right )$$

证明：

$E [f \left ( g(X) \right ) ] = \sum_{i=1}^{n} p_i f \left ( g(x_i) \right ) \ge f \left ( \sum_{i=1}^{n} p_i g (x_i) \right ) = f \left (E[g(X)] \right )$