Jensen不等式及其详细证明——Emmm...?Emmm...! EM算法(1)

$Emmm...?$
$Emmm...!$
$接下来的几篇博客，我们来聊聊传说中的EM算法$
$Jensen不等式将在之后的EM算法的证明中发挥重要的作用，我们先来瞅一瞅$

---

Jensen不等式

$假设f为凸函数，X是一个随机变量$
$则有$
$$E[f(X)]\ge f[E(X)]$$
$进一步地，若f是严格凸函数，则：$
$$E[f(X)]>f[E(X)]$$
$E[f(X)]=f[E(X)]成立的条件是P(X=E[X])=1$

---

证明:
$我们采用数学归纳法:$
$$f\left(\sum _{k=1}^n{a}_k{x}_k\right)\le \sum _{k=1}^n{a}_{k}f(x_k)$$

$当n=1时$
$有a_1=1，因此f(a_1{x}_1)\le a_{1}f(x_1)显然成立$

$递归步，假设n=k-1(k\ge 2)时不等式成立$
$有:$
$$f\left(\sum _{k=1}^{n-1}{a}_k{x}_k\right)\le \sum _{k=1}^{n-1}{a}_{k}f(x_k)$$

$只需要证n=k成立$
$$f\left(\sum _{k=1}^n{a}_k{x}_k\right)=f\left(a_n{x}_n+(1-a_n)\sum _{k=1}^{n-1}\frac{a_k}{1-a_n}{x}_k\right)(1)$$
$上式将第n项拎出，同时将(1-a_n)提出来，仅是恒等变换而已$
$你问我为何要做此恒等变换，可以想象凸函数的定义:$

$I是定义在凸集C上地某个区间，设f是定义在区间I上的函数，若在I上的任意两点x_1,x_2和任意的实数\lambda \in (0,1)，总有$
$$f\left(\lambda x_1+(1-\lambda )x_2\right)\le \lambda f(x_1)+(1-\lambda )f(x_2)$$
$则称f为I上的凸函数，若将定义中的\le 换成<也成立，对应可称函数f为对应区间上的严格凸函数$

$所以(1)式，即是为了配凑\lambda 和(1-\lambda )，我们配凑是有目的的，目的是为了将\lambda 和(1-\lambda )提出：$

$$\begin{array}{rl}f\left(\sum _{k=1}^n{a}_k{x}_k\right)& =f\left(a_n{x}_n+(1-a_n)\sum _{k=1}^{n-1}\frac{a_k}{1-a_n}{x}_k\right)\\ & \le a_{n}f\left(x_n\right)+(1-a_n)f\left(\sum _{k=1}^{n-1}\frac{a_k}{1-a_n}{x}_k\right)\end{array}(2)$$

$接下来，我们用下，之前n=k-1时,假设的条件即可，即：$
$$f\left(\sum _{k=1}^{n-1}\frac{a_k}{1-a_n}{x}_k\right)\le \sum _{k=1}^{n-1}\frac{a_k}{1-a_n}f(x_k)(3)$$
$将(3)带入(2)式中，并将公因式(1-a_n)乘入:$

$$\begin{array}{rl}f\left(\sum _{k=1}^n{a}_k{x}_k\right)& =f\left(a_n{x}_n+(1-a_n)\sum _{k=1}^{n-1}\frac{a_k}{1-a_n}{x}_k\right)\\ & \le a_{n}f\left(x_n\right)+(1-a_n)f\left(\sum _{k=1}^{n-1}\frac{a_k}{1-a_n}{x}_k\right)\\ & \le a_{n}f\left(x_n\right)+(1-a_n)\sum _{k=1}^{n-1}\frac{a_k}{1-a_n}f(x_k)\\ & \le a_{n}f\left(x_n\right)+\sum _{k=1}^{n-1}{a}_{k}f(x_k)\\ & \le \sum _{k=1}^n{a}_{k}f(x_k)\end{array}$$
$所以，n=k(k\ge 2)时，不等式也成立$
证毕