最优化方法总结——梯度下降法、最速下降法、牛顿法、高斯牛顿法、LM法、拟牛顿法

目录

1 最优化方法的结构

2 常用最优化方法对比分析

3 相关计算公式

---

1 最优化方法的结构

        最优化问题的一般形式为：

其中为决策变量，是目标函数，为约束集或可行域。特别地，如果，则最优化问题成为无约束最优化问题。

        最优化方法通常采用迭代法求它的最优解，其基本思想是：给定一个初始点，按照某一迭代规则产品一个点列{ }，使得当{ }是有穷点列时，其最后一个点是最优化模型问题的最优解。迭代规则由迭代公式决定，迭代公式的基本表示形式如下：

        式中，为步长因子，为搜索方向。在最优化算法中，搜索方向是在点处的下降方向，即：

        最优化方法的基本结构如下：

• 给定初始点；
• 确定搜索方向，即按照一定规则，构造 在点处的下降方向作为搜索方向；
• 确定步长因子，使目标函数有某种意义的下降；
• 令