常见不等式考察（一）——Jensen不等式

• 常见不等式考察（一）——Jensen不等式
  • 0. 引言
  • 1. Jensen不等式定义
  • 2. Jensen不等式证明
  • 3. Jensen不等式的常见形式
    • 1. 具体凸函数下的Jesen不等式
      • 1. 幂函数
      • 2. 对数函数
      • 3. 指数函数
      • 4. 三角函数
    • 2. 连续形式下的Jensen不等式
    • 3. 概率论中的Jensen不等式
  • 4. 参考链接

0. 引言

这两天在看文献的时候，突然注意到文献中使用了Jensen不等式，然后猛地发现似乎太久不看这些东西，都已经忘得差不多了，是时候得好好复习一下这些东西了……

1. Jensen不等式定义

Jensen不等式是针对凸函数的一个常用的不等式，其定义如下：

$$f(\lambda \cdot x_1+(1-\lambda )\cdot x_2)\le \lambda \cdot f(x_1)+(1-\lambda )\cdot f(x_2)$$

上述不等式可以由凸函数的定义快速地得到，我们可以将其推广至一般的情况，即下述表达式：

$$f(\sum _{i=1}^n{\lambda }_i{x}_i)\le \sum _{i=1}^n{\lambda }_{i}f(x_i)$$

其中，${\sum }_{i=1}^n{\lambda }_i=1$。

而如果函数为严格的凹函数，则上述Jensen不等式同样可以成立，但是符号需要反向，即修改为：

$$f(\sum _{i=1}^n{\lambda }_i{x}_i)\ge \sum _{i=1}^n{\lambda }_{i}f(x_i)$$

2. Jensen不等式证明

关于Jensen不等式的证明方法，其实网上已经有了不少的解答，不过基本都是基于数学归纳法的解答。

这里，我们来仿照网上的一些解法来自行进行一下推导。

显然，对于$n\le 2$的情况，又凸函数的定义，上述不等式是易得的。

下面，我们假设在$n=k$的情况下，不等式成立，则我们考虑$n=k+1$时的情况。

$$\begin{array}{rl}f(\sum _{i=1}^{k+1}{\lambda }_i\cdot x_i)& =f(\sum _{i=1}^k{\lambda }_i\cdot x_i+{\lambda }_{k+1}\cdot x_{k+1})\\ & =f((1-{\lambda }_{k+1})\cdot (\sum _{i=1}^k\frac{{\lambda }_i}{1-{\lambda }_{k+1}}\cdot x_i)+{\lambda }_{k+1}\cdot x_{k+1})\\ & \le (1-{\lambda }_{k+1})\cdot f(\sum _{i=1}^k\frac{{\lambda }_i}{1-{\lambda }_{k+1}}\cdot x_i)+{\lambda }_{k+1}\cdot f(x_{k+1})\\ & \le (1-{\lambda }_{k+1})\cdot (\sum _{i=1}^k\frac{{\lambda }_i}{1-{\lambda }_{k+1}}\cdot f(x_i))+{\lambda }_{k+1}\cdot f(x_{k+1})\\ & =\sum _{i=1}^k{\lambda }_i\cdot f(x_i)+{\lambda }_{k+1}\cdot f(x_{k+1})\\ & =\sum _{i=1}^{k+1}{\lambda }_i\cdot f(x_i)\end{array}$$

由此可见，不等式成立。

综上，一般情况下的Jensen不等式即可证明完毕。

而同理，对于凹函数情况下的Jensen不等式，我们只需要完全仿照上述的解法即可证明。

3. Jensen不等式的常见形式

下面，我们来看一下Jensen不等式在不同场景下的一些引申表达方式以及应用。

1. 具体凸函数下的Jesen不等式

1. 幂函数

对于幂函数$f(x)=x^k$，我们有：

$$(\sum _{i=1}^n{\lambda }_i\cdot x_i{)}^k\le \sum _{i=1}^n{\lambda }_i\cdot x_i^k$$

特别的，当所有的系数都相同时，我们即有：

$$(\frac{{\sum }_{i=1}^n{x}_i}{n}{)}^k\le \frac{{\sum }_{i=1}^n{x}_i^k}{n}$$

2. 对数函数

对于对数函数，我们可以写出对应的Jensen不等式如下：

$$log(\sum _{i=1}^n{\lambda }_i\cdot x_i)\ge \sum _{i=1}^n{\lambda }_i\cdot log(x_i)$$

特别地，当所有的系数都相同时，即有：

$$log(\frac{{\sum }_{i=1}^n{x}_i}{n})\ge \frac{1}{n}\cdot \sum _{i=1}^{n}log(x_i)$$

3. 指数函数

对于指数函数，我们可以写出对应的Jensen不等式如下：

$$exp(\sum _{i=1}^n{\lambda }_i\cdot x_i)\le \sum _{i=1}^n{\lambda }_i\cdot e^{x_i}$$

特别地，当所有的系数都相同时，即有：

$$exp(\frac{{\sum }_{i=1}^n{x}_i}{n})\le \frac{1}{n}\cdot \sum _{i=1}^n{e}^{x_i}$$

4. 三角函数

对于三角函数（我们以$sin$为例，其在$[0,\pi ]$范围内为凹函数），我们可以写出对应的Jensen不等式如下：

$$sin(\sum _{i=1}^n{\lambda }_i\cdot {\theta }_i)\ge \sum _{i=1}^n{\lambda }_i\cdot sin{\theta }_i$$

特别地，当所有的系数都相同时，即有：

$$sin(\frac{{\sum }_{i=1}^n{\theta }_i}{n})\ge \frac{1}{n}\cdot \sum _{i=1}^{n}sin{\theta }_i$$

特别的，对于三角形的三个内角，我们有：

$$\frac{1}{3}(sinA+sinB+sinC)\le sin(\frac{\pi }{3})$$

即：

$$sinA+sinB+sinC\le \frac{3\sqrt{3}}{2}$$

2. 连续形式下的Jensen不等式

已知$g(x)>0$，${\int }_{x}g(x)dx=1$，且函数$f(x)$为凸函数，则有：

$$f({\int }_{x}g(x)\cdot xdx)\le {\int }_{x}g(x)\cdot f(x)dx$$

3. 概率论中的Jensen不等式

特别的，我们将上述2中的连续形式下的$g(x)$函数表示为概率分布函数，那么我们就可以很简单地导出概率论当中常见的Jensen不等式的表达式：

$$f(\bar{E}(x))\le \bar{E}(f(x))$$

4. 参考链接

1. https://en.wikipedia.org/wiki/Jensen%27s_inequality
2. https://zhuanlan.zhihu.com/p/39315786
3. https://zhuanlan.zhihu.com/p/279442299