无约束可微问题的最优性理论

1.一阶最优性条件

下降方向:

对于可微函数f和点x，如果存在向量d满足

那么称d为f在x处的一个下降方向

在局部最优点不能有下降方向，我们有一阶必要条件

一阶必要条件：

假设f在全空间Rn可微，如果R*是一个局部极小值点，那么

但是需要注意的是，上述条件仅仅是必要条件，仅满足上述条件，无法得出其一定为局部极小值点。

2.二阶最优化条件

二阶必要条件

如果x*是f的一个局部极小点，那么

二阶充分条件

如果在点x*处有

那么x*为f(x)的一个局部极小值点

设点满足一阶最优性条件，且该处的海瑟矩阵不是半正定的，那么不是一个局部极小值点，进一步，若海瑟矩阵既有正特征值，又有负特征值，则称为一个鞍点。