最优性理论（无约束）

无约束可微问题

一般形式： ，其中   为可微函数

我们想要知道这个点是否是函数 的一个局部极小解或者全局极小解，需要一个简单的方式来验证一个点是否为极小值点．我们称其为最优性条件，它主要包含一阶最优性条件和二阶最优性条件．

一阶最优性条件

就是运用一阶导数，给出下降方向的定义。

定理（下降方向）：

  如果存在向量 满足 , 那么称 为  在点  处的一个下降方向。（利用泰勒公式可以很容易证明出）

我们了解过，既然，说明梯度方向和向量 的夹角应该是大于 ° 的，所以若满足上面的定理，我们沿着下降方向 前进，使得：

当 为局部最优时，就处不能有下降方向，所以引出另一个必要条件如下

定理（一阶必要条件）：

如果  是一个局部极小点，那么满足

二阶最优性条件

如果一阶必要条件满足，我们仍然不能确定当前点是否是一个局部极小点．这里考虑使用二阶信息来进一步判断给定点的最优性．

定理（二阶必要条件）：

如果  是   的一个局部极小点，那么 ，。

举例说明

举一个线性最小二乘问题：

可以看出   是可微的凸函数，因此，  为一个全局最优解当且仅当：

我们还经常遇到非线性最小二乘问题：

其中非线性函数：

    ，

所以我们对原式求导：

一阶导：

二阶导：

 如果   为一个局部最优解，那么其满足一阶必要条件：

 

以及二阶必要条件：

如果一个点   满足二阶充分条件：

  ，

那么   为一个局部最优解．

（以上基本在高数中都学过）

无约束不可微问题（重点）

一般形式： ，其中   为不可微函数

很多实际问题的目标函数不是光滑的，例如 范数，，对于此类问题，由于目标函数可能不存在梯度和海瑟矩阵，此时我们必须使用其他最优性条件来判断不可微问题的最优点．

凸优化问题一阶充要条件

对于目标函数是凸函数的情形，我们已经引入了次梯度的概念并给出了其计算法则，就需要用次梯度来构造最优性条件。

定理：

假设   是适当且凸的函数，当：     时， 为全局极小点。

  是    为全局最优解的充要条件（其中    表示次梯度）

 复合优化问题的一阶必要条件

在实际问题中，目标函数不一定是凸函数，但它可以写成一个光滑函数与一个非光滑凸函数之和，一般形式：

其中  为光滑函数（可能非凸），  为凸函数（可能非光滑）

定理：

令  为一个局部极小点，那么有： 

举例说明

举一个 范数的问题，其一般形式可以写成：

其中  为光滑函数， 一看就是凸函数，不光滑，正则系数  用来调节解的稀疏度

 看得出    那肯定不可微，但是我们可以用次梯度来计算：

 （简单说一下这个次梯度怎么得出来的，这里的 ，就是相当于一个 的图像，所以在 点处，次梯度为集合  ）

因此，如果  是一个局部最优解，那么其满足：

得出：

 时， 就是局部最优解。

进一步地，如果   是凸的，那么满足上式的就是全局最优解．