凹凸性和Jensen不等式

参照：

• 凹凸性:https://blog.csdn.net/hqh131360239/article/details/82751791
• Jensen不等式:https://blog.csdn.net/phoenix198425/article/details/78388597

1、凹凸性

1.1、同济大学高等数学定义

\qquad 凹凸函数在同济大学高等数学中的定义符合人们的思维定式。在国际上的定义恰好与同济大学高等数学中的定义相反。

1.2、国际上的定义：

\qquad 国际上的定义刚好与国内的凹凸函数的定义相反。二阶导数大于0，则为凸函数，有极小值；二阶导数小于0，则为凹函数，有极大值（后面涉及到的凹凸函数，均为国际上的定义）；

\qquad 例如：$e^x$的二阶导数大于0，为凸函数；$logx$的二阶导数小于0，为凹函数；

\qquad 一元函数可以很容易的判断凹凸性，二元函数如何判断凹凸性？用到了海塞矩阵，根据海塞矩阵的正定性，判断凹凸性。

\qquad a）海塞矩阵
$$A=\left[\begin{array}{cc}\frac{{\partial }^{2}Z}{\partial x^2}& \frac{{\partial }^{2}Z}{\partial x\partial y}\\ & \\ \frac{{\partial }^{2}Z}{\partial y\partial x}& \frac{{\partial }^{2}Z}{\partial y^2}\end{array}\right]$$

\qquad b）正定矩阵
\qquad 判断海塞矩阵是否为正定矩阵；若所有特征值均不小于零，则称为半正定。 若所有特征值均大于零，则称为正定。特征值怎么求？$|\lambda E-A|=0$，可以求出特征值。若除主对角线上的元素都为0，则主对角线上的值为特征值。$detA=|A|=$对角线元素积。

\qquad c）凹凸性判断（正定矩阵为凸函数）:

\qquad 例题1：$f(x,y)=x^2+5y^2-6x+10y+6$

\qquad 海塞矩阵A:
$$A=\left[\begin{array}{cc}2& 0\\ & \\ 0& 10\end{array}\right]$$
\qquad 所有的特征值均大于0，海塞矩阵为正定矩阵，函数为凸函数。

\qquad 例题2：$f(x,y)=10(y^2+4x{)}^2+(1-4y{)}^2$
\qquad 海塞矩阵A:
$$A=\left[\begin{array}{cc}320& -160y\\ & \\ -160y& 120y^2-160x+32\end{array}\right]$$
\qquad 根据特征值，决定函数的凹凸性。

2、Jensen不等式

2.1、特殊形式

\qquad 针对于上述的凸函数，直观意义上的凸函数，有特殊形式：
$$f(\frac{a+b}{2})\ge \frac{1}{2}(f(a)+f(b))=\frac{1}{2}f(a)+\frac{1}{2}f(b)$$

2.2、简单引申

\qquad 针对于上述的凸函数，$\lambda$相当于$x_1$的概率，$1-\lambda$相当于$x_2$的概率，则有:
$$f(\lambda x_1+(1-\lambda )x_2)\ge \lambda f(x_1)+(1-\lambda )f(x_2)$$

2.3、延申拓展

\qquad 针对于上述的凸函数，${\lambda }_j$为$y_j$概率，且有$\sum _j{\lambda }_j=1,{\lambda }_j\ge 0$，则有：
$$f(\sum _j{\lambda }_j{y}_j)\ge \sum _j{\lambda }_{j}f(y_j)$$

2.4、推论

\qquad 若 $f(x)$ 为区间$R$上的凸函数，$g(x):R\to R$ 为一任意函数，$X$ 为一取值范围有限的离散变量， $E[f(g(X))]$ 与 $E[g(X)]$ 都存在，则：
$$f(E[g(X)])\ge E[f(g(X))]$$

\qquad 证明：
$$f(E[g(X)])=f(\sum _{i=1}^n{p}_{i}g(x_i))\ge \sum _{i=1}^n{p}_{i}f(g(x_i))=E[f(g(X))]$$