最优化方法1——线性搜索
写在前面
第五章内容很多，而且平均每次都要考两题，大致内容如下，这次先写线性搜索部分
一、一维搜索
大多数最优化问题的迭代方法，都是从某一个点开始，以某种方式确定搜索方向和步长，然后找到下一个点。
不同的迭代方法区别在于搜索方向和步长的选择方式不同，例如最速下降法将该点的梯度作为搜索方向，共轭梯度法的搜索方向与上一步的方向有关，牛顿法步长取1.
二、最速下降法
最速下降法是无约束最优化算法最简单的方法。具体步骤如下：
- 求起点的梯度，将其反方向作为搜索方向
- 求得该搜索方向下能使函数值最小的步长
- 得到下一个点
例19年第五题
三、牛顿法
最速下降法计算量小、存储量小，但对整体求解过程来说，这个方法非常缓慢。为了加快收敛速度，用牛顿法来求解。
牛顿法与最速下降的不同在于搜索方向的选择。具体步骤如下：
- 求起点的一阶和二阶梯度矩阵，将二阶逆乘一阶的反方向作为搜索方向
- 步长为1
- 求得第二个点
四.共轭梯度法
共轭梯度法与最速下降法的区别在于其从第二次开始，每次的搜索方向都会考虑前一次的方向。
总结
先写这么多
1141
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
