【数理统计02】延森Jensen‘s不等式的证明

延森不等式（Jensen’s Inequality）是凸函数理论中的一个重要结果，广泛应用于概率论、统计学和优化理论等领域。这个不等式的基本形式是：

对于一个凸函数$f$和一个随机变量$X$，如果$\mathbb{E}[X]$存在，那么有：
$f(\mathbb{E}[X])\le \mathbb{E}[f(X)]$

证明这个不等式的一般步骤如下：

1. 凸函数的定义：
   函数$f:\mathbb{R}\to \mathbb{R}$是凸函数，当且仅当对于任意的$x_1,x_2\in \mathbb{R}$和$\lambda \in [0,1]$，有：
   $f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$

2. 证明步骤：

   • 步骤1：利用凸函数的定义，我们首先对于简单情形$\lambda =\frac{1}{2}$给出不等式。

   • 步骤2：将凸函数定义扩展到一般情况，对于任意的有限个数$x_i$和权重${\lambda }_i$（权重非负且和为1），有：
     $f\left({\sum }_{i=1}^n{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^n{\lambda }_{i}f(x_i)$

   • 步骤3：利用这一步骤得到的结果，证明对任意随机变量$X$和其概率分布的期望的情形。

详细证明：

步骤1：首先考虑两个点的情况，设$x_1$和$x_2$是实数，$\lambda \in [0,1]$。根据凸函数的定义，有：
$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$

步骤2：将这个不等式扩展到有限个点的情况。设$x_1,x_2,\dots ,x_n$是实数，${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$是非负权重，且${\sum }_{i=1}^n{\lambda }_i=1$。利用凸函数的定义，可以通过数学归纳法证明：
$f\left({\sum }_{i=1}^n{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^n{\lambda }_{i}f(x_i)$

步骤3：考虑随机变量$X$和凸函数$f$，对于离散情形，我们可以写成：
$X=x_i\text{with probability}{p}_i$
这里${\sum }_i{p}_i=1$。

因此：
$\mathbb{E}[X]={\sum }_i{p}_i{x}_i$
$\mathbb{E}[f(X)]={\sum }_i{p}_{i}f(x_i)$

根据步骤2的结果，有：
$f\left({\sum }_i{p}_i{x}_i\right)\le {\sum }_i{p}_{i}f(x_i)$

即：
$f(\mathbb{E}[X])\le \mathbb{E}[f(X)]$

对于连续情形，可以通过类似的方法，考虑连续随机变量的概率密度函数，使用积分形式得到同样的结果。具体地，可以考虑随机变量的积分表示：

设$X$是一个连续随机变量，其概率密度函数为$p(x)$，则：
$\mathbb{E}[X]=\int xp(x)dx$
$\mathbb{E}[f(X)]=\int f(x)p(x)dx$

根据凸函数定义的积分形式，也可以证明：
$f\left(\int xp(x)dx\right)\le \int f(x)p(x)dx$

因此，对于连续随机变量同样有：
$f(\mathbb{E}[X])\le \mathbb{E}[f(X)]$

综上所述，延森不等式对于离散和连续情形都成立。