凸优化 [3]：无约束最优化——一阶、二阶条件

无约束最优条件

一阶必要条件：

$$\nabla f(x^{\ast })=0$$

必要性：

若 $x^{\ast }$ 是局部最优点（最小值点），则由：
$$\nabla f(x^{\ast })=\lim \frac{f(x)-f(x^{\ast })}{x-x^{\ast }}$$
取出其中一个分量 $x_i^{\ast }$ 则 $\frac{\partial f(x)}{\partial x_i}>0$ 当 $x_i>x^{\ast }$； $\frac{\partial f(x)}{\partial x_i}<0$ 当 $x_i<x^{\ast }$。

则由函数的连续性， $\frac{\partial f(x^{\ast })}{\partial x_i^{\ast }}=0$ 。得证$\square$

Remark：

单纯的梯度为 $0$ ，不能保证最优点：

二阶必要条件：

$$\begin{gathered} H={\nabla }^{2}f(x)=\left[\begin{array}{ccc}\frac{{\partial }^{2}f(x)}{\partial x_1\partial x_1}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_1}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_n}\end{array}\right] \\ \{\begin{array}{ll}H⪰0& \text{convex}\\ H\succ 0& \text{strictly convex}\end{array} \end{gathered}$$

必要性：

由二阶 Taylor 展开：
$$f(x)=f(x^{\ast })+\nabla f(x^{\ast }{)}^T(x-x^{\ast })+\frac{1}{2}(x-x^{\ast }{)}^T{\nabla }^{2}f(x^{\ast })(x-x^{\ast })+o(\Vert x^{\ast }-x{\Vert }^2)$$

由一阶必要条件，$\nabla f(x^{\ast })=0$ ，又因为是最优值，则：
$$0\le f(x)-f(x^{\ast })=\frac{1}{2}(x-x^{\ast }{)}^T{\nabla }^{2}f(x^{\ast })(x-x^{\ast })+o(\Vert x^{\ast }-x{\Vert }^2)$$
因为 ${\nabla }^{2}f(x)$ 正定对称，则由酉分解：
$${\nabla }^{2}f(x)=P\Lambda P^T$$
令 $\tilde{d}=P(x-x^{\ast })$ 则：
$$\frac{1}{2}{\tilde{d}}^T{\nabla }^{2}f(x^{\ast })\tilde{d}=\frac{1}{2}(x-x^{\ast }{)}^T\Lambda (x-x^{\ast })\ge \frac{1}{2}{\lambda }_{\min }\Vert x-x^{\ast }{\Vert }^2$$
因此：
$$f(x)\ge f(x^{\ast })+\frac{1}{2}{\lambda }_{\min }\Vert x-x^{\ast }{\Vert }^2$$