Jensen 不等式

• 参考：
  1. 《数值最优化方法》—— 高立
  2. Jensen不等式初步理解及证明
  3. Jensen不等式讲解与证明

---

1. 凸集与凸函数

1.1 凸集

1. 定义：设集合 $C\subset {\mathbb{R}}^n$，若对 $\forall x,y\in C$，有
   $$\theta x+(1-\theta )y\in C,\theta \in [0,1]$$
   则称 $C$ 为 凸集

2. 几何意义：若 $x,y$ 属于凸集 $C$ 则 $x$ 与 $y$ 连线上的所有点都属于凸集 $C$
   

3. 性质：凸集关于加法、数乘和交运算都是封闭的。对于凸集 $C_1,C_2\in {\mathbb{R}}^n$，$\beta \in \mathbb{R}$，则

   1. C 1 + C 2 = { x 1 + x 2 ∣ x 1 ∈ C 1 , x 2 ∈ C 2 } C_1+C_2 = \{x_1+x_2|x_1 \in C_1,x_2 \in C_2\} C1​+C2​={x1​+x2​∣x1​∈C1​,x2​∈C2​} 是凸集
   2. β C 1 = { β x ∣ x ∈ C 1 } \beta C_1 = \{\beta x|x\in C_1\} βC1​={βx∣x∈C1​} 是凸集
   3. $C_1\cap C_2$ 是凸集

1.2 凸函数

1. 定义：设集合 $C\subset {\mathbb{R}}^n$ 为非空凸集，函数 $f:C\to \mathbb{R}$。若对 $\forall x,y\in C$，有
   $$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y),\theta \in [0,1]$$
   则称 $f$ 为 $C$ 上 凸函数。若不等式对 $x\ne y$ 严格成立，则称 $f$ 为 $C$ 上的 严格凸函数

2. 几何意义：凸函数曲线上任意两点连线都在函数曲线之上
   

3. 判定方法

   1. 一阶判定条件
      
   2. 二阶判定条件
      

2. Jensen不等式

2.1 Jensen不等式

• 根据凸函数性质，凸集 $C$ 上的凸函数 $f$ 上的两点 $x_1,x_2$ 满足
  $$\theta f(x_1)+(1-\theta )f(x_2)\ge f(\theta x_1+(1-\theta )x_2),\theta \in [0,1]$$
• 把上式推广到 $n$ 个点的情况，即得 Jensen 不等式：对于凸函数 $f$，其所在凸集 $C$ 中的任意点集 { x i } ⊂ C \{x_i\} \subset C {xi​}⊂C，若 ${\theta }_i\ge 0$ 且 ${\sum }_i{\theta }_i=1$，则有
  $$\sum _{i=1}^M{\theta }_{i}f(x_i)\ge f(\sum _{i=1}^M{\theta }_i{x}_i)$$

2.2 证明

• 可以使用数学归纳法证明，参见：Jensen不等式讲解与证明

2.3 扩展

1. 在概率论中，如果把 ${\theta }_i$ 看作离散型随机变量 $X$ 取值 $x_i$ 的概率，则根据Jensen不等式
   $$E[f(X)]\ge f(E[X])$$

2. 把Jensen不等式拓展到连续情况，有
   $$\int f(x)p(x)dx\ge f(\int xp(x)dx)$$
   这里 $f$ 是凸函数，$p$ 是随机变量的概率密度函数

3. 当随机变量X是常数时，Jensen不等式中等号成立。从几何角度容易理解（此时凸函数 $f(x)=c$是一条直线）