序列二次规划求解非线性优化问题

1. 概述

序列二次规划法（SQP，Sequential Quadratic Programming）算法是将复杂的非线性优化问题转换为较简单的二次规划问题来求解的算法。而二次规划问题则是指目标函数为二次函数，约束函数为线性函数的的最优化问题。二次规划问题是最简单的非线性优化问题，有很多成熟的快速求解的方法。

2. 基本思想

序列二次规划的基本思想即是利用泰勒展开将非线性优化问题的目标函数在迭代点处简化为二次函数，同时将约束函数简化为线性函数：

由于只是原问题的近似问题，求得的解并不是原问题的解，只是一个在局部更好的一个解，可以为下一步的迭代提供一个方向，所以我们想求解的其实是一个方向：

将其化为二次规划的标准形式：

3. 求解方法

问题的求解主要分为两个部分，第一个部分为通过求解二阶导数矩阵，将原非线性优化问题转换为多个简单的二次优化问题，第二个部分为对简单的二次优化问题进行求解。

迭代求解的步骤如下所示：

3.1 求解二阶导数矩阵

这里的ΔX指的是决策变量的差值，Δq指的是梯度的差值。

3.2 二次规划问题的求解

根据约束条件的不同，二次规划可分为等式约束二次规划问题和不等式约束二次规划问题。等式约束二次规划问题即只含有等式约束，常见的解法有直接消去法、广义消去法、拉格朗日(Lagrange)法；对于不等式约束二次规划问题，其基本思想是把不等式约束转化为等式约束再求解，常见解法有有效集(active set)方法，有效集方法在每步迭代中把有效约束作为等式约束，然后可以用拉格朗日法求解，重复直到求得最优解。