Jensen不等式
Jensen不等式,又名琴森不等式或詹森不等式(均为音译)。它是一个在描述积分的凸函数值和凸函数的积分值间的关系的不等式。它的一般形态是:
1.当且仅当 f ( x ) f(x) f(x)为下凸函数时有
f ( ∑ i = 1 n λ i x i ) ≤ ∑ i = 1 n λ i f ( x i ) , ∑ i = 1 n λ i = 1 , λ i ≥ 0 f(\sum_{i=1}^{n}\lambda_{i}x_{i})\leq \sum_{i=1}^{n}\lambda_{i}f(x_{i}) \quad ,\sum_{i=1}^{n}\lambda_{i}=1,\lambda_{i}\geq0 f(i=1∑nλixi)≤i=1∑nλif(xi),i=1∑nλi=1,λi≥0
2.当且仅当 f ( x ) f(x) f(x)为上凸函数时有
f ( ∑ i = 1 n λ i x i ) ≥ ∑ i = 1 n λ i f ( x i ) , ∑ i = 1 n λ i = 1 , λ i ≥ 0 f(\sum_{i=1}^{n}\lambda_{i}x_{i})\geq \sum_{i=1}^{n}\lambda_{i}f(x_{i}) \quad ,\sum_{i=1}^{n}\lambda_{i}=1,\lambda_{i}\geq0 f(i=1∑nλixi)≥i=1∑nλif(xi),i=1∑nλi=1,λi≥0
它的最简单形态是:
1.当且仅当 f ( x ) f(x) f(x)为下凸函数时有
f ( x 1 + x 2 2 ) ≤ 1 2 f ( x 1 ) + 1 2 f ( x 2 ) f( \frac{x_{1}+x_{2}}{2})\leq \frac{1}{2}f(x_{1})+\frac{1}{2}f(x_{2}) f(2x1+x2)≤21f(x1)+21f(x2)
2.当且仅当 f ( x ) f(x) f(x)为上凸函数时有
f ( x 1 + x 2 2 ) ≥ 1 2 f ( x 1 ) + 1 2 f ( x 2 ) f( \frac{x_{1}+x_{2}}{2})\geq \frac{1}{2}f(x_{1})+\frac{1}{2}f(x_{2}) f(2x1+x2)≥21f(x1)+21f(x2)
Jensen的推导
一般采用数学归纳法进行Jensen不等式的推导和证明。
以下凸函数为例,先看 n = 2 n=2 n=2时的情形。
当 n = 2 n=2 n=2时,有
f ( λ 1 x 1 + λ 2 x 2 ) ≤ λ 1 f ( x 1 ) + λ 2 f ( x 2 ) , λ 1 + λ 2 = 1 f(\lambda_{1}x_{1}+\lambda_{2}x_{2})\leq\lambda_{1}f(x_{1})+\lambda_{2}f(x_{2})\quad ,\lambda_{1}+\lambda_{2}=1 f(λ1x1+