最优化学习笔记——第四章

第四章 一维搜索

近似求解和精确求解

一、缩小区间的搜索

一元函数求极小及线性搜索均为一维搜索。常用于
求：

缩小区间的精确一维搜索

考虑问题§

单谷区间：

不确定区间: [𝛼, 𝛽]含𝜑(𝜆)的最小点，但不知其位置
若对任意𝜆1 , 𝜆2, 𝛼 ≤ 𝜆1 < 𝜆2 ≤ 𝛽满足：
1º若𝜆2 ≤ 𝜆^∗，则𝜑(𝜆1) > 𝜑(𝜆2);
2º 若𝜆1 ≥ 𝜆^∗，则𝜑(𝜆1) < 𝜑(𝜆2)
则称𝜑(𝜆)在[𝛼, 𝛽] 上强单谷。

若只有当𝜑(𝜆1) ≠ 𝜑(𝜆 ∗ )， 𝜑(𝜆2) ≠ 𝜑(𝜆 ∗ )时，上述1º, 2º 式
才成立，则称φ(λ)在[α, β] 上单谷。

下图的定理比较显而易见，也为缩短区间的算法提供了理论依据：

黄金分割法（0.618 法）

通过上述定理，选二点𝜆 < 𝜇 ,比较𝜱(𝝀) 与 𝜱(𝝁),可去掉[𝛼 , 𝜆]。或者[𝜇 , 𝛽].考虑条件：
1°对称： 𝜆 − 𝛼 = 𝛽 − 𝜇 ……(1)
使“坏”的情况去掉，区间长度不小于“好”的情况

2°保持缩减比: 𝑡 =(保留的区间长度／原区间长度) 不变。
使每次保留下来的节点 𝜆或 𝜇，在下一次的比较中成为一个
相应比例位置的节点

整理后得到： 𝝁 = 𝜶 + 𝒕(𝜷 − 𝜶 ) 𝝀 = 𝜶 + 𝒕(𝝁 − 𝜶 )
结合①式：𝒕^𝟐 + 𝒕 − 𝟏 = 𝟎 故 𝒕 ≈ 𝟎. 𝟔𝟏𝟖
注意 上式有 𝒕𝟐 = 𝟏 − 𝒕, 故有:
𝝁 = 𝜶 + 𝒕(𝜷 − 𝜶 ) 𝝀 = 𝜶 + (𝟏 − 𝒕)(𝜷 − 𝜶 )

例题：

中点法(二分法)

设ф (λ)在 [α ,β]上可微，且当导数为零时是解。取λ=(α+β)／2，那么
ф′ (λ)=0 时， λ为最小点， λ= λ*
ф′ (λ)>0 时， λ在上升段， λ* < λ，去掉[λ,β] ；
ф′ (λ)<0 时， λ在下降段， λ* > λ，去掉[α ,λ] ；

进退法求初始不确定区间

找三点使两端点的函数值大于中间点的函数值
思路：任取λ0，步长δ >0，取λ1=λ0 + δ
1°若𝜱(𝝀𝟎) < 𝜱(𝝀𝟏), 令δ=2 δ（步长加倍），λ2=λ0 - δ ， 若𝜱 𝝀𝟐 < 𝜱(𝝀𝟎),则令𝜆1 = 𝜆0 ，𝜆0 = 𝜆2 ,重复 1° 若𝜱 𝝀𝟐 > 𝜱(𝝀𝟎),则停，𝛼 = 𝜆2，𝛽 = 𝜆1

2°若𝜱 𝝀𝟎 > 𝜱(𝝀𝟏)令𝛿 = 2 𝛿, 𝜆2 = 𝜆1 + 𝛿 ， 若𝜱 𝝀𝟐 < 𝜱(𝝀𝟏),则令𝜆0 = 𝜆1，𝜆1 = 𝜆2 ,重复 2° 若𝜱 𝝀𝟐 > 𝜱(𝝀𝟏),则停，𝛼 = 𝜆0 ，𝛽 = 𝜆2

注意：
𝜹 选择要适当。（太大含多个单峰区间，太小迭代次数增
加）；
𝜱 𝝀 单调时无结果，(加迭代次数限制)；
可与中点法结合寻找单调区间（思考）

二、Newton和插值法

插值法利用插值函数逼近所需求解的目标函数，把插值函数的极小点作为迭代点。常见的有三点二次插值，两点二次插值和三次插值多项式

1、 Newton法

其实就是利用了拉格朗日公式，一二阶导数，近似的梯度下降



例题：

2、 插值法

• 基本的思想就是拟合一个多元n次方程，按照参数的需求去选择点数，若点数不够， 可以用导数凑方程

用ф(λ)在2 或3 个点的函数值或导数值，构造2 次或3次多
项式作为ф(λ)的近似值，以这多项式的极小点为新的迭代点
3点2次，2点2次，4点3次，3点3次，2点3次等

3点2次：

取λ 1，λ 2，λ3，求出ф(λ1)， ф(λ2)， ф(λ3)

上述及得4个已知点，设为𝝀𝟎, 𝝀, 𝝀𝟏, 𝝀𝟐，然后从中舍去一个，保证最小点在区间内

两点两次：

三次插值：四个参数

因此需要四个条件：可以是四个点，3点加一点的导数值
，2点加两点导数值