几何建模相关多目标优化问题研究-优化理论相关基础

梯度下降法

• 梯度下降法计算极值思想：从一点x出发，不断沿着下降的方向移动，最终可以达到它的极小值。根据场论里梯度的定义可以得知，在任意一点处，函数F最快的下降方向为它的梯度反方向：
• 探索极小值点的算法需要计算函数的2个值来比较从而缩小搜索范围，即用两个分点把区间分成3段，比较两个分点处的函数值，去掉较大的一侧的区间，从剩下的两个区间内继续搜索极小值。
• 黄金分割法是高效的搜索算法，将分点的位置缩小到原来的倍。
• 
• 最速下降法的收敛速度是线性收敛，当函数的海森矩阵特征值很悬殊时，收敛速度会很慢。

梯度投影法

• 
• 拉格朗日乘子法是求解这类问题的理论基础，它的主要思想是构造有m+n个自变量的函数
• 则条件极值问题的解必然使对它所有的自变量的偏导为0.拉格朗日乘子法可以把多元函数的条件极值问题转化为计算非线性方程组的求解问题。
• 

• 正定对称线性系统