琴生不等式（Jensen Inequality）

最新推荐文章于 2022-11-25 21:34:55 发布

teengad

最新推荐文章于 2022-11-25 21:34:55 发布

阅读量2.3w

点赞数 7

分类专栏：科研笔记文章标签：琴生不等式

本文链接：https://blog.csdn.net/qq_32515081/article/details/117334480

版权

科研笔记专栏收录该内容

46 篇文章 15 订阅

订阅专栏

在数学中，琴生不等式（Jensen Inequality）以丹麦数学家 Johan Jensen 的名字命名，又称詹森不等式。它将积分的凸函数的值与凸函数的积分联系起来，Jensen在 1906 年证明了这一点。

鉴于其普遍性，不等式根据上下文以多种形式出现，最简单的不等式表示均值的凸变换小于或等于凸变换后的均值。而凹变换的情况正好相反。

Jensen不等式概括了凸函数的割线位于函数图上方的陈述，这是Jensen对两点的不等式：割线由凸函数的加权均值组成（对于 t∈[0,1]）：

$tf(x_{1})+(1-t)f(x_{2})$

函数的图形是加权均值的凸函数:

$f(tx_{1}+(1-t)x_{2})$

因此，Jensen 不等式是 :

$f(tx_{1}+(1-t)x_{2})\leq tf(x_{1})+(1-t)f(x_{2})$

在概率论的语境中，一般用以下形式表述：如果 X 是随机变量且 φ 是凸函数，则：

$\varphi(E[X])\leq E[\varphi(X)]$

不等式两边的差 $E[\varphi(X)]-\varphi(E[X])$ ，称为 Jensen 间隙（Jensen gap）。

不同表述形式

Jensen 不等式的经典形式涉及多个数字和权重。不等式可以用测度论的语言或（等价的）概率来表述。在概率定义中，不等式可以进一步推广到其全部强度（full strength）。

有限形式

对于一个实凸函数 $\varphi$ ，定义域中的数字 $x_{1},x_{2},x_{3},...x_{n}$ ，和正权重 $a_{i}$ ，Jensen不等式可以表示为：

$\varphi(\frac{\sum a_{i}x_{i}}{\sum a_{i}})\leq \frac{\sum a_{i}\varphi(x_{i})}{\sum a_{i}}$

如果 $\varphi$ 为凹函数，则：

$\varphi(\frac{\sum a_{i}x_{i}}{\sum a_{i}})\geq \frac{\sum a_{i}\varphi(x_{i})}{\sum a_{i}}$

当且仅当 $x_{1}=x_{2}=x_{3}=...=x_{n}$ 时等号成立，或者 $\varphi$ 为线性函数。

作为特殊情况，当正权重 $a_{i}$ 都相等时，上述等式可以表示为：

$\varphi(\frac{\sum x_{i}}{n})\leq \frac{\sum \varphi(x_{i})}{n}$

$\varphi(\frac{\sum x_{i}}{n})\geq \frac{\sum \varphi(x_{i})}{n}$

琴生不等式可以用作证明一般情况的平均不等式：

$\frac{x_{1}^{t}+x_{2}^{t}+\cdot\cdot\cdot+x_{n}^{t}}{n}\geq (\frac{x_{1}+x_{2}+\cdot\cdot\cdot+x_{n}}{n})^{t},(t>1)$

$\frac{x_{1}^{t}+x_{2}^{t}+\cdot\cdot\cdot+x_{n}^{t}}{n}\leq (\frac{x_{1}+x_{2}+\cdot\cdot\cdot+x_{n}}{n})^{t},(0<t<1)$

$(\frac{x_{1}+x_{2}+\cdot\cdot\cdot+x_{n}}{n})^{n}\geq x_{1}x_{2}\cdot\cdot\cdot x_{n}$

其中前面两个取 $f(x)=x^{t}$ ，后面一个取 f(x)=log(x) 。

一个常见的应用是将 x 作为另一个变量（或一组变量）t的函数 $x_{i}=g(t_{i})$ 。所有这些都直接适用于一般连续情况：权重 $a_{i}$ 被非负可积函数f(x)代替，例如概率分布，并且总和被积分代替。

测度与概率形式

令 $(\Omega,A,\mu)$ 是一个概率空间， $\mu(\Omega)=1$ 。如果g是一个实数函数，且对于 $\mu$ 可积，另外如果 $\varphi$ 是一个在实线域上是凸函数，则：

$\varphi(\int_{\Omega}gd\mu)\leq\int_{\Omega}\varphi\circ gd\mu$

在实分析中，我们可能需要对下式做一个估计：

$\varphi(\int^{b}_{a}f(x)dx)$

其中 $a,b\in \mathbb{R}$ ， $f:[a,b]\rightarrow\mathbb{R}$ 是非负勒贝格积分函数。在这种情况下，勒贝格测度[a,b]不用是统一的。但是，通过作代换积分，可以重新调整区间以使其具有度量单位，那么可以应用Jensen不等式得到：

$\varphi(\frac{1}{b-a}\int^{b}_{a}f(x)dx)\leq\frac{1}{b-a}\int^{b}_{a}\varphi(f(x))dx$

通过简单的符号变化，可以在概率论中等效地陈述相同的结果。令 $(\Omega,F,P)$ 为概率空间，X为可积实值随机变量，φ为凸函数。则：

$\varphi(E[X])\leq E[\varphi(X)]$

在这个概率定义中，测度μ的目的是作为概率P，关于μ作为期望值的积分，以及作为随机变量X的函数g。

注意等式成立当且仅当 φ 是某个凸集A上的线性函数，使得 $P(X\in A)=1$ 。

在概率论中的广义形式

更一般地，设T为实拓扑向量空间，X为T值可积随机变量。在这个一般设置中，可积意味着在T中存在一个元素E[X]，使得对于T的对偶空间（dual space）中的任何元素 z： $E|\left \langle z,X \right \rangle|< \infty$ ， $\left \langle z,E[X] \right \rangle=E[\left \langle z,X \right \rangle]$ 。然后，对于任何可测凸函数 φ 和F的任何子 σ-代数 $\mathfrak {G}$ ：

$\varphi(E[X|\mathfrak {G} ])\leq E[\varphi(X)|\mathfrak {G} ]$

这里 $E[\cdot|\mathfrak {G} ]$ 代表以 σ-代数 $\mathfrak {G}$ 为条件的期望。当拓扑向量空间T是实轴，并且 $\mathfrak {G}$ 是平凡的σ-代数 {∅, Ω}（其中∅是空集，Ω是样本空间），这个一般性陈述简化为以前的陈述。

一种锐化和概括的形式

设X是一维随机变量，均值为 $\mu$ ，方差为 $\sigma^{2}\geq0$ 。令 $\varphi(x)$ 为二次可微函数，并定义函数:

$h(x)\triangleq \frac{\varphi(x)-\varphi(\mu)}{(x-\mu)^{2}}- \frac{\varphi'(\mu)}{x-\mu}$

然后：

$\sigma^{2}inf\frac{\varphi''(x)}{2}\leq\sigma^{2}infh(x)\leq E[\varphi(X)]-\varphi(E[X])\leq\sigma^{2}suph(x)\leq\sigma^{2}sup\frac{\varphi''(x)}{2}$

特别地，当 $\varphi(x)$ 是凸的，那么 $\varphi''(x)\geq0$ 。对于 $\varphi(x)$ 被另外假设为二次可微的情况，自然而然能够得出标准的Jensen 不等式的形式。

不等式证明

Jensen 不等式可以通过多种方式证明，并且将提供对应于上述不同陈述的三种不同证明。

然而，在开始这些数学推导之前，有必要分析基于概率情况的直观图形论证，其中X是实数（见上图）。假设X值的分布，人们可以立即确定E[X]及其图像φ(E[X])在图中的位置。注意到对于凸映射Y = φ(X)，随着X值的增加，Y值的相应分布越来越“伸展”，很容易看出Y的分布在对应于 $X>X_{0}$ 的区间中更宽，并且对于任何 $X_{0}$ ，在 $X<X_{0}$ 处更窄；特别是，对于 $X_{0}=E[X]$ 也是如此。因此，在这张图片中，Y的期望总是相对于 $\varphi(E[X])$ 的位置向上移动。如果X的分布覆盖了凸函数的递减部分，或者同时覆盖了凸函数的递减部分和递增部分，则类似的推理成立。这“证明”了不等式：