2.1 Localization and Cutting-Plane Methods

Locatization and Cutting

1. cutting-plane oracle 切平面预言器
2. finding cutting-planes 找到切平面
3. localization algorithms 定位算法
4. specific cutting -plance methods 特定切平面法
5. epigraph cutting-plane method 上镜图切平面法
6. lower bounds and stopping criteria 下界和停止准则

基于在某个集合中定位目标点的思想，在每一次的迭代过程中集合变小。
和次梯度方法一样，需要在每一步，计算目标函数的次梯度或者约束函数。
特别地，可以直接处理不可微的凸（以及拟凸）问题。
典型地，与次梯度法相比，每一步需要更多的存储空间和计算量。
但是在理论和实际上，比次梯度方法更有效。

Cutting-plane oracle

目标：找到凸集X∈Rn中的一个点，或者判断X=ϕ
我们仅通过一个切平面预言器访问或者描述X
当在x∈Rn需要切平面预言器时，
-或者判定x∈X
-或者返回x和X之间的一个分割超平面: a≠0

z≤b for z∈X,aTx≥b

(a,b)称为切平面，或者切。因为，它将半空间 {z|aTz≥b}从点x( x∈X)的搜索空间切割掉。

Neutral and deep cuts
中切和深切

如果aTx=b（x在切掉的半空间的边界上），那么切平面称为中切。
如果aTx>b(x在切掉的半空间内部），那么切平面称为深切。

Unconstrained minimized

最小化凸函数:f:Rn→R
X是最优点集（函数最小值处的x值）
给定x,找到g∈∂f(x)
从f(z)≥f(x)+gT(z−x)，我们得到：

gT(z−x)>0⇒f(z)>f(x)

也就是说，半空间 gT(z−x)的所有点都比x”差”，并且不是最优的。
因此， gT(z−x)≤0是在( a=g,b=gTx)处的（中）切平面。

在搜索 x∗过程中，通过计算 g∈∂f(x),排除掉一个半空间。（即，计算x处的次梯度，g，通过不等式 gT(z−x)≥0确定z的取值范围，即 gT(z−x)=0是关于z的直线，在直线的两边决定了其如果。即在半空间 gT(z−x)≥0时，函数的值时增加的。
idea:通过计算g,获得关于 x∗位置的一点信息。

Deep cut for unconstrained minization

假定我们知道一个数f¯，满足f(x)>f¯≥f∗,也就是说算法中迄今为止找到的f的最小值。
从不等式f(z)≥f(x)+gT(z−x)，我们有：

f(x)+gT(z−x)>f¯⇒f(z)>f¯≥f∗⇒z∉X

因此，我们有深切：

gT(z−x)+f(x)−f¯≤0

Feasibility problem

find x
subject to fi(x)≤0,i=1,...,m
f1,...,fm是凸的，X是可行点集。

如果x不可行，找到j满足fj(x)>0，并且计算gi∈∂fj(x)
因为fj(x)≥fj(x)+gTj(z−x)，

fj(x)+gTj(z−x)>0⇒fj(z)>0⇒z∉X

也就是说,任何可行的z满足不等式 fj(x)+gTj(z−x)≤0
这给出了一个深切。

转载于:https://www.cnblogs.com/raby/p/5886691.html