本文介绍了最速下降法，一种基于梯度的优化算法，用于求解无约束问题。通过理解最速下降法的原理，步骤以及MATLAB实现，展示了如何在实际中应用该算法。在测试中，以二元函数为例，经过几次迭代找到了局部最优解，但也指出最速下降法可能仅能得到局部最优，且接近最优解时迭代速度减缓。
前言
无约束问题的求解过程一般都是通过一系列的一维搜索来实现，搜索方向的不同，形成了不同的最优化方法。这篇文章从最速下降法入手，来进行搜索。
一、最速下降法介绍
最速下降法又叫梯度法，通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代，其过程刚好与最速下降法相反，所以在求解最大值的优化问题时，常常将目标函数加负号之后，转变为求最小值后，使用最速下降法来求解。
二、最速下降法原理
最速下降法是使用负梯度方向
来作为搜索的方向。设f(x)在Xk附近 可微，dk为搜索方向，gk为梯度方向，有Taylor公式可知：
而由导数的定义可知
订阅专栏 解锁全文
扫一扫
836
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
