最优化方法—一维搜索

华电北风吹
天津大学认知科学与计算重点实验室
日期 2015/11/7

本文主要从试探法、插值法、微积分中的求根法讲解怎么求解一维函数极值问题。
一、试探法
1、斐波那契法(分数法)
适用条件：存在极值点的一维凸函数，或者在指定求解区间上的凸函数，本文举例以标准凸函数为例(下凸)。
$y=f(t)$ 是区间[a,b]上的凸函数，在此区间内存在极小值点$t'$。若在区间内任意取两相异点$a_1,b_1，假设a_1<b_1$，计算函数值$f(a_1),f(b_1)$，则必有如下三种情况，
1) $f(a_1)<f(b_1)$，这是极小值点必在$[a,a_1]$ 之间(图1)
2) $f(a_1)>f(b_1)$，这是极小值点必在$[a_1,b]$ 之间(图2)
3) $f(a_1)=f(b_1)$，虽然概率几乎为0，但是还是说一下吧，这个时候可以归结为情况1或者情况2解决。

注意到斐波那契数列的性质
$F(n)=F(n-1)+F(n-2)$
先把区间分为$F(n)$份，分别计算$F(n-1)$和$F(n-2)$ 处的函数值即可判断出极值点是位于前$F(n-1)$个区间还是后$F(n-1)$个区间。这样就可以把区间长度缩短为$F(n-1)$了。然后依次递归压缩区间长度直到确定所在的区间长度为$F(1)=1$。而且，在对长度为$F(n-1)$的区间递归的过程中，发现$F(n-2)$处的值在上一次递归的时候已经计算好，这一次只需要计算$F(n-1)-F(n-2)$处的值即可，即每次迭代只需要计算一次函数值。

2、黄金分割法(0.618法)。
求解的问题类型类似于斐波那契法，求解方法也类似。每次试点取在区间长度的0.618倍处和0.382倍处。这样每次可缩短区间长度为原来的0.618倍。依次递归。直到达到最大迭代次数或者满足收敛判定条件。

二、插值法
1、抛物线法
对极值点周围的点采样，然后抛物线拟合，把抛物线的极值点作为真实极值点的近似。
2、三次插值法
同抛物线法。

三、微积分中的求根法
转化为求解导数为0的解方程问题。
1、切线法
牛顿法
2、二分法
依次二分分割区间。