最优化学习笔记（二）——二分法

     二分法是一种一维搜索方法。它讨论的是求解一元单值函数$f: \mathbb{R} \to \mathbb{R} 在区间[a_0, b_0]$的极小点问题。同时要求函数$f$在区间$[a_0, b_0]$上为单调函数，并且是连续可微的，这里将使用$f$的一阶导数$f'$。
      二分法的计算过程比较简单，它主要是利用一阶导数来连续压缩区间的方法。

1.确定初始区间的中点：$x^{(0)} = \frac{a_0+b_0}{2}$
2.计算函数$f在x^{(0)} 处的一阶导数f'(x^{(0)})$ .
如果$f'(x^{(0)}) > 0$,说明极小点在$x^{(0)}$左侧，极小点的区间被压缩为$[a_0,x^{(0)}]$
如果$f'(x^{(0)}) < 0$,说明极小点在$x^{(0)}$右侧，极小点的区间被压缩为$[x^{(0)},b_0]$
如果$f'(x^{(0)}) = 0$,$x^{(0)}$就是极小点，搜索结束。

      在每次迭代中区间的压缩比为$\frac{1}{2}$。因此，经过$N$次迭代后，整个区间的总的压缩比为$(\frac{1}{2})^N$. 后续，我们将会讨论一维搜索方法中的黄金分割法和斐波那契数列法。