惩罚函数法迭代过程的本质及其他最优化方法中的一些概念

简单罚函数法和单参数精确罚函数法都是逐渐“淹没”可行解；而双参数精确罚函数法在“淹没”可行解的同时，移动可行解。下图为简单罚函数法迭代过程示意图。



下图是罚函数法与拉格朗日法的关系：

可微分函数的凸性


极小值点的必要条件

极小值点的充分条件

最优解的存在性

二次函数的一般表达式

二分搜索法

等间隔搜索法

牛顿下降法

共轭方向

最后，梯度（的正方向）是函数沿其变化率增大最快方向的变化率向量；方向导数是函数沿其任一方向的变化率标量。