运筹系列33：有效集法与代码分析

1. 算法简介

有效集法类似单纯形法，是其在二次目标函数时的升级版。这两种算法的特点都是迭代点会循着约束边界前进，直到达到问题的最优点。算法原理可以参考这里。
有效集法的思路是，从取到等号的约束条件出发，每次沿着优化目标函数的方向在边界上移动。与单纯形法不一样的地方在于每次移动时不是直接
移动到新的顶点，而是要求解一个二次方程。假设原问题是：

第k+1次的$x_k+p$满足：
${\min }_{p|a_{i}p=0}(x_k+p)G(x_k+p)/2+(x_k+p)c$
等价于
${\min }_{p|a_{i}p=0}pGp/2+p(G{x}_k+c)$
求得的$p$可以获得原约束不变条件下的优化方向。接下来就是看步长，如果$x_k+p$不违反非有效集，那么步长为1.否则定义$x_{k+1}=x_k+{\alpha }_k{p}_k$，找到$a{p}_k<0$的所有约束，取$\alpha =(b-a{x}_k)/(a{p}_k)$最小的值作为${\alpha }_k$，被选中的第k条约束称为blocking constraint，并且必然有某个之前的约束不再取等号，这样就构建了新的有效集$W_{k+1}$。
如果计算下来$p=0$，那么要看下是否KKT条件都满足，如果对偶变量y都大于0，那么当前点为最优值，否则选取负数绝对值比较大的y对应的约束，删除后重新计算$p$并移动。举个例子：

① 最开始有效集为{3,5}，$x$=(2,0)，计算下来p=(0,0)，有效集对偶变量{-2,-1}，删除条件3。
② 有效集变为{5}，继续求p=(-1,0)，步长为1，新的点为$x$=(1,0)，p=(0,0)，有效集对偶变量{-5}，删除条件5.
③ 有效集变为{}，继续求p=(0,2.5)，步长为0.6，新的点为$x$=(1,1.5)，新增条件1
④ 有效集变为{1}，继续求p=(0.4,0.2)，步长为1，新的点为 $x$=(1.4,1.7)，p=(0,0)，有效集对偶变量{0.8}，此时已经是最优集。

总结下来，每次迭代都是：在当前有效集下求最优的x和有效集对偶变量y，如果y有负数则删除对应约束重新求x和新的有效集下的对偶变量。

2. A/BPOpt

APOPT和BPOPT都是Advanced Process Solutions, LLC开发的。虽说主页上说有开源部分开发代码，但是没找到在什么地方。
APOPT使用active-set法，BPOPT使用内点法（与IPOPT类似）。APOPT目前有两种使用方法：使用AMPL/Pyomo，或者APMonitor/GEKKO。BPOPT则只能使用APMonitor/GEKKO。
算法特点如下：

1. 聚焦快速检测不可行问题
2. 充分利用并行计算

3. Julia实现