运筹学（1）-最速下降法

运筹学（1）
多维无约束优化算法——梯度法之最速下降法

最近学习运筹学开始学习一些优化的算法，之后的一系列博客我会分享一些我学到的运筹学方法。这次我总结了我学习的最速下降法。

1. 原理
最速下降法是一个优化算法，用于求解多维无约束问题。最速下降法由于只考虑到当前下降最快而不是全局，所以最速下降法又叫做瞎子爬山法。最速下降法属于求解非线性规划问题的迭代法。它的关键是得到每步迭代的方向 $p^{(k)}$ 和步长 $t$ 。

(1)搜索方向 $p^{(k)}$ 的确定
方向$p$为单位向量， $||p||=1$ ,从 $x^{(k)}$ 按方向 $p$ ,步长 $t$ 进行搜索得到下一点 $x^{(k+1)}=x^{(k)}+tp$ 。在这里我们用到泰勒展开式得：

$$f(x^{(k)}+tp)=f(x^{(k)})+t\Delta f(x^{(k)})^Tp+o(t)$$
可以得到在 $x^{(k)}$处的变化率：

limt→0f(x(k)+tp)−f(x(k))t=limt