2.1 Localization and Cutting-Plane Methods

Locatization and Cutting

1. cutting-plane oracle 切平面预言器
2. finding cutting-planes 找到切平面
3. localization algorithms 定位算法
4. specific cutting -plance methods 特定切平面法
5. epigraph cutting-plane method 上镜图切平面法
6. lower bounds and stopping criteria 下界和停止准则

基于在某个集合中定位目标点的思想，在每一次的迭代过程中集合变小。
和次梯度方法一样，需要在每一步，计算目标函数的次梯度或者约束函数。
特别地，可以直接处理不可微的凸（以及拟凸）问题。
典型地，与次梯度法相比，每一步需要更多的存储空间和计算量。
但是在理论和实际上，比次梯度方法更有效。

Cutting-plane oracle

目标：找到凸集$X\in \mathbf R^n$中的一个点，或者判断$X=\phi$
我们仅通过一个切平面预言器访问或者描述X
当在$x \in \mathbf R^n$需要切平面预言器时，
-或者判定$x \in X$
-或者返回$x$和$X$之间的一个分割超平面: $a \neq 0$

$$z \leq b \text{ for } z \in X , \quad a^Tx \geq b$$
(a,b)称为切平面，或者切。因为，它将半空间 $\{ z| a^Tz \geq b \}$从点x( $x \in X$)的搜索空间切割掉。

Neutral and deep cuts
中切和深切

如果$a^Tx=b$（x在切掉的半空间的边界上），那么切平面称为中切。
如果$a^Tx>b$(x在切掉的半空间内部），那么切平面称为深切。

Unconstrained minimized

最小化凸函数:$f:\mathbf R^n \rightarrow \mathbf R$
X是最优点集（函数最小值处的x值）
给定x,找到$g \in \partial f(x)$
从$f(z) \geq f(x)+g^T(z-x)$，我们得到：

$$g^T(z-x) >0 \Rightarrow f(z) >f(x)$$
也就是说，半空间 $g^T(z-x)$的所有点都比x”差”，并且不是最优的。
因此， $g^T(z-x) \leq 0$是在( $a=g,b=g^Tx)$处的（中）切平面。

在搜索 $x^*$过程中，通过计算 $g \in \partial f(x)$,排除掉一个半空间。（即，计算x处的次梯度，g，通过不等式 $g^T(z-x) \geq 0$确定z的取值范围，即 $g^T(z-x)=0$是关于z的直线，在直线的两边决定了其如果。即在半空间 $g^T(z-x) \geq 0$时，函数的值时增加的。
idea:通过计算g,获得关于 $x^*$位置的一点信息。

Deep cut for unconstrained minization

假定我们知道一个数$\overline f$，满足$f(x)>\overline f \geq f^*$,也就是说算法中迄今为止找到的f的最小值。
从不等式$f(z) \geq f(x)+g^T(z-x)$，我们有：

$$f(x)+g^T(z-x) > \overline f \Rightarrow f(z)>\overline f \geq f^* \Rightarrow z \notin X$$
因此，我们有深切：
$$g^T(z-x) +f(x) -\overline f \leq 0$$

Feasibility problem

find x
subject to $f_i(x) \leq 0, \quad i=1,...,m$
$f_1,...,f_m$是凸的，X是可行点集。

如果x不可行，找到j满足$f_j(x)>0$，并且计算$g_i \in \partial f_j(x)$
因为$f_j(x)\geq f_j(x)+g_j^T(z-x)$，

$$f_j(x)+g_j^T(z-x) >0 \Rightarrow f_j(z)>0 \Rightarrow z\notin X$$
也就是说,任何可行的z满足不等式 $f_j(x)+g_j^T(z-x) \leq 0$
这给出了一个深切。