运筹学(1)
多维无约束优化算法——梯度法之最速下降法
最近学习运筹学开始学习一些优化的算法,之后的一系列博客我会分享一些我学到的运筹学方法。这次我总结了我学习的最速下降法。
1. 原理
最速下降法是一个优化算法,用于求解多维无约束问题。最速下降法由于只考虑到当前下降最快而不是全局,所以最速下降法又叫做瞎子爬山法。最速下降法属于求解非线性规划问题的迭代法。它的关键是得到每步迭代的方向 p(k) 和步长 t 。
(1)搜索方向
方向 p 为单位向量,
f(x(k)+tp)=f(x(k))+tΔf(x(k))Tp+o(t)
可以得到在 x(k) 处的变化率:
limt→0f(x(k)+tp)−f(x(k))t=limt