【Numerical Optimization】16 Quadratic Programming

2019.02.25

【

1. 顾名思义，问题是二次的，这里约束是线性的。对于这类特殊形式的求解
2. 先作KKT条件再近似，与SQP中先做近似再利用KKT条件得到的结果一致】

 

---

二次规划的问题形式及其常用求解方法

---

现考虑一般的二次规划问题：

                                                     

如果G正定，则为凸二次规划，非凸的二次规划往往有多个稳定点和局部最小值，更难解。

具体求解：

1  只有等式约束

                                     

KKT条件：

                                                          

将代入得

    

DIRECT SOLUTION OF THE KKT SYSTEM

即上述KKT代数求解方法：

• 直接求解 消元法

• SCHUR-COMPLEMENT METHOD
• NULL-SPACE METHOD

ITERATIVE SOLUTION OF THE KKT SYSTEM

即上述KKT迭代求解方法：

• CG：预条件、投影CG
• Krylov ： GMRES, QMR,  LSQR

---

2  不等式约束（+等式约束）

拉格朗日函数：

                                                  

其KKT条件：

                                            

若满足KKT条件且G半正定则其为全局最优点。

   

1.ACTIVE-SET METHODS FOR CONVEX QPs（积极集方法）

问题转化为等式约束子问题

1、在、作用集处寻找最优方向p：

                                             

2、根据上节等式约束求解算法求得

3、须满足不等式约束

       当时肯定满足；当时，须满足

4、因此综合不等式约束可以取

                                               

5、If αk < 1, that is, the step along pk was blocked by some constraint not in Wk , a new working set Wk+1 is constructed by adding one of the blocking constraints to Wk

6、当p=0时此点最优，此时该拉格朗日函数 约束的系数应为非负的。若G正定，此点全局最优。

2、INTERIOR-POINT METHODS（内点方法）

3、THE GRADIENT PROJECTION METHOD（投影梯度方法）

限于处理约束形式比较简单的问题：
                                                        

---