Jensen不等式的形式有很多种,这里重点关注有关于随机变量期望的形式。
1 Jensen不等式
Jensen不等式:已知函数 ϕ : R → R \phi: \mathbb{R}\to\mathbb{R} ϕ:R→R为凸函数,则有 ϕ [ E ( X ) ] ≤ E [ ϕ ( X ) ] \phi[\text{E}(X)]\leq \text{E}[\phi(X)] ϕ[E(X)]≤E[ϕ(X)]。
有时候,需要用到离散形式的Jensen不等式: { a j } \{a_j\} {
aj}是一系列非负权重,满足 ∑ j = 1 m a j = 1 \sum_{j=1}^m a_j=1 ∑j=1maj=1, { x j } \{x_j\} {
xj}是一系列任意实数,对于凸函数 ϕ : R → R \phi: \mathbb{R}\to\mathbb{R} ϕ:R→R,有
ϕ ( ∑ j = 1 m a j x j ) ≤ ∑ j = 1 m a j ϕ ( x j ) \phi\left(\sum_{j=1}^m a_j x_j\right) \leq \sum_{j=1}^m a_j \phi(x_j) ϕ(j=1∑majxj)≤j=1∑majϕ(xj)
只需将原期望形式的Jensen不等式中的随机变量取成离散的,并令 P ( X = x j ) = a j P(X=x_j)=a_j P(X=xj)=aj,即可得到上式。
2 条件Jensen不等式
将不等式两边的期望都取为条件期望的形式,不等式依然成立。
条件Jensen不等式:已知函数 ϕ : R → R \phi: \mathbb{R}\to\mathbb{R} ϕ:R→R为凸函数,则有 ϕ [ E ( X ∣ Y ) ] ≤ E [ ϕ ( X ) ∣ Y ] \phi[\text{E}(X|Y)]\leq \text{E}[\phi(X)|Y] ϕ[E(X∣Y)]≤E[ϕ(X)∣Y]。
来看一个应用:在 Var ( X ) < ∞ \text{Var}(X)<\infty Var(X)<∞的条件下,利用条件Jensen不等式,可以证明 Var [ E ( X ∣ Y ) ] ≤ Var ( X ) \text{Var}[\text{E}(X|Y)]\leq \text{Var}(X) Var[E(X∣Y)]≤Var(X)。
证明如下:
[ E ( X ∣ Y ) − E ( X ) ] 2 = [ E ( X ∣ Y ) ] 2 + [ E ( X ) ] 2 − 2 E ( X ∣ Y ) E ( X ) ≤ E ( X 2 ∣ Y ) + [ E ( X ) ] 2 − 2 E ( X ∣ Y ) E ( X ) \begin{aligned} &[\text{E}(X|Y)-\text{E}(X)]^2 \\ =& [\text{E}(X|Y)]^2+[\text{E}(X)]^2 - 2\text{E}(X|Y)\text{E}(X)\\ \leq & \text{E}(X^2|Y)+[\text{E}(X)]^2 - 2\text{E}(X|Y)\text{E}(X) \end{aligned} =≤[E(X∣Y)−E(X)]2[E(X∣Y)]2+[E(X)]2−2E(X∣Y)E(X)E(X2∣Y)+[E(X)]2−2E(X∣Y)E(X)