Jensen‘s inequality（詹森不等式）

Jensen’s inequality（詹森不等式）是数学中的一条重要不等式，由丹麦数学家Johan Jensen于1906年提出。它是凸分析和概率论中的一个基本工具，对于理解和证明许多理论概念如期望值、方差、熵以及各种不等式都具有重要作用。
Jensen’s inequality的一般形式可以描述如下：
假设 $f$是定义在实数线上的凸函数，如果 $X$ 是一个随机变量，那么：
$f(E[X])\le E[f(X)]$
这里的 $E[X]$ 表示随机变量 $X$ 的期望值。
凸函数的定义： 一个函数 $f$ 是凸的，如果对于所有的 $x,y$和所有的 $t$满足 $0\le t\le 1$，都有：
$f(tx+(1-t)y)\le tf(x)+(1-t)f(y)$
直观上说，这意味着在凸函数的图形上，任意两点间的线段总是位于函数图形的上方或与之重合。
Jensen’s inequality的几何意义： 在凸函数的情况下，线性组合的函数值不大于函数值的线性组合。换句话说，如果你在凸函数的图像上取两点，然后画一条直线连接这两点，那么这条直线将始终位于这两点之间图像的上方或与之重合。换成期望值的语境，就是随机变量经过凸函数的期望不小于随机变量期望的函数值。
一个简单的例子： 取 $f(x)=x^2$，这是一个凸函数。假设随机变量 $X$取值1和-1的概率都是0.5。那么，$E[X]=0.5\cdot 1+0.5\cdot (-1)=0$，而 $E[f(X)]=E[X^2]=0.5\cdot 1^2+0.5\cdot (-1{)}^2=1$。因此，$f(E[X])=f(0)=0^2=0$，我们可以看到 $f(E[X])=0\le 1=E[f(X)]$，这符合Jensen’s inequality。
Jensen’s inequality也有一个对偶形式，用于凹函数。如果 $f$是凹函数，那么不等式的方向就相反：
$f(E[X])\ge E[f(X)]$
这个不等式在信息论、经济学和其他许多领域都有广泛的应用。