在讲解最速下降法的博客中,讲到了使用直线搜索的方法来求解 xk+1 (也就是求解步长因子 tk ),但是并没有讲解什么叫做直线搜索,现在对直线搜索进行补充说明。
直线搜索
定义1:对于问题
minϕ(t)
其中
ϕ:R1→R1
。求解该一元函数极小值问题的
迭代方法我们称为
直线搜索或
一维搜索。
直线搜索是求解一元函数极小值问题的迭代方法,这种方法适用于任何函数,与之相对应的是微积分方法。对于能够求解出导数的函数 ϕ(t) ,我们只需要求解出他的导数,然后令 ϕ′(t)=0 即可。对于这种可以求出导数的情况下相应的求解方法会简单一点,但是实际问题中可能更多的使用直线搜索方法。
直线搜索方法求一元函数极小值问题,一般可以分为两类,分别是区间收缩法和函数逼近法。
搜索区间
定义2:(单谷函数)设 ϕ:L⊆R1→R1 , t∗ 是 ϕ(t) 在 L 上的全局极小点。如果对于
当t2≤t∗时,ϕ(t1)>ϕ(t2)
当t1≥t∗时,ϕ(t1)<ϕ(t2)
那么乘
ϕ(t)
是区间
L
上的
单谷函数。
定义3:(搜索区间)设
定理1:设 { a,b} 是单谷函数 ϕ(t) 极小点的一个搜索区间,在 (a,b) 上任取两点 t1 和 t2 ,且