海瑟矩阵和函数凹凸性之间的关系

以下阐述以2维的凸函数（convex function）为例

注释：可以推广到多维的凸函数和凹函数（concave function）

我们定义2维的函数为 $f(\mathbf{x}),\mathbf{x}=[x_1,x_2{]}^T\in {\mathbb{R}}^2$。函数的海瑟矩阵（Hessian matrix）如下
$H=\left[\begin{array}{cc}\frac{{\partial }^{2}f}{\partial {x_1}^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial {x_2}^2}\end{array}\right]$

首先阐述矩阵和正定、半正定之间的关系

参考[1,2]，有以下结论：

1. 如果对于$\mathbf{s}=[s_1,s_2{]}^T$， $\forall s_1,s_2\in \mathbb{R},s_1,s_2\ne 0$，$\mathbf{s}H{\mathbf{s}}^T>0$, 那么海瑟矩阵是正定的（positive definite）；
2. 如果对于$\mathbf{s}=[s_1,s_2{]}^T$， $\forall s_1,s_2\in \mathbb{R},s_1,s_2\ne 0$，$\mathbf{s}H{\mathbf{s}}^T\ge 0$, 那么海瑟矩阵是半正定的（positive semidefinite）；

然后阐述正定、半正定和函数凹凸性的关系

参考[3,4]，有以下结论：

1. $H$是半正定和$f$是凸函数，互为充要条件；
2. 如果$H$是正定，那么$f$是强凸函数；
3. 如果$f$是强凸函数，那么$H$不一定是正定；

用下面的例子阐述结论3。$f=x_1^4+x_2^4,x_1,x_2\in \mathbb{R}$，函数$f$的海瑟矩阵如下：
$H=\left[\begin{array}{cc}12x_1^2& 0\\ 0& 12x_2^2\end{array}\right]$
，然后计算：
$\mathbf{s}H{\mathbf{s}}^T=12x_1^2{s}_1^2+12x_2^2{s}_2^2$; 对于$x_1=0,x_2=0$，我们有$\mathbf{s}H{\mathbf{s}}^T=0$，所以$H$是半正定的。

参考资料：
[1] https://ccjou.wordpress.com/2009/12/14/%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%99%A3%E7%9A%84%E6%80%A7%E8%B3%AA%E8%88%87%E5%88%A4%E5%88%A5%E6%96%B9%E6%B3%95/
[2] https://ccjou.wordpress.com/2009/10/01/%e7%89%b9%e6%ae%8a%e7%9f%a9%e9%99%a3-%e5%85%ad%ef%bc%9a%e6%ad%a3%e5%ae%9a%e7%9f%a9%e9%99%a3/
[3] https://math.stackexchange.com/questions/210187/relation-between-positive-definite-matrix-and-strictly-convex-function
[4] http://web.hku.hk/~pingyu/6066/LN/LN3_Convex%20Sets%20and%20Concave%20Functions.pdf