最优化理论与方法复习（3）---使用导数的最优化方法

---

1. 最速下降法

1.1 概念说明

1.2 解题步骤

1.3 例题

2. 牛顿法

2.1 解题步骤

2.2 例题

2.3 二次终止性

3. 阻尼牛顿法

3.1 基本思想

3.2 解题步骤

3.3 例题

4. 共轭梯度法

4.1 概念说明

 注：上面这个例子中，$x^{(1)}$和$y^{(1)}$共轭，$x^{(2)}$和$y^{(2)}$不共轭，$x^{(3)}$和$y^{(3)}$共轭。

4.2 几何意义

4.3 二次凸函数解题步骤

4.4 求λ一个说明

 对于二次凸函数，虽然求 $\lambda$ 有公式，但是我们依然可以用关于 $\lambda$ 的函数求导等于 $0$ 来求解最优步长 $\lambda$。