凸优化学习笔记6（中科大）算法

9. 无约束优化

所有优化算法都是迭代算法。

9.1 无约束优化问题

9.2 下降方法

（1）黄金分割法
（2）Amijo Rule

9.3 梯度下降法

9.3.1 收敛性分析

• 采用精确直线搜索的分析
• 采用回溯直线搜索的分析

9.4 最速下降法

9.4.1 采用Euclid范数和二次范数的最速下降方法

（1）采用Euclid范数的最速下降方法

（2）采用二次范数的最速下降方法

9.4.2 采用l-1范数的最速下降方向（坐标下降算法）

9.5 牛顿法

9.5.1 牛顿步径

（1）二阶近似的最优解
（2）Hessian范数下的最速下降方向
（3）线性化最优条件的解

9.5.2 牛顿方法

9.5.3 收敛性分析

9.5.4 拟牛顿法

10 等式约束优化

10.1 等式约束优化问题

10.1.1 等式约束凸二次规划

10.2 等式约束的牛顿方法