非线性最优化问题求解器Ipopt介绍

Ipopt(Interior Point OPTimizer)是求解大规模非线性最优化问题的求解软件。可以求解如下形式的最优化问题的(局部)最优解。
$$\begin{gathered} \underset{x\in R^n}{\underbrace{min}}f(x) \\ s.t.g_L\le g(x)\le g_U \\ {x}_L\le x\le x_U\text{\hspace{1em}(0)} \end{gathered}$$
其中，$f(x):R^n\to R$是优化目标函数，$g(x):R^n\to R^m$是约束函数，$f(x),g(x)$可以是非线性和非凸的，但是需要是二阶微分连续的。

为了求解最优化问题，Ipopt需要更多的信息，如下：

1. 优化问题的维度
   1. 优化变量$x$的数目；
   2. 约束函数$g(x)$的数目;
2. 优化变量的边界
   1. 优化变量$x$的边界；
   2. 约束函数$g(x)$的边界；
3. 优化问题的初始迭代点：
   1. 优化变量$x$的初始值；
   2. 拉格朗日乘子的初始值(仅仅是在warm start的时候需要)；
4. 优化问题的数据结构(Structure)：
   1. 约束函数$g(x)$的雅可比矩阵的非零元素的数目；
   2. 拉格朗日函数的黑森矩阵的非零元素的数目；
   3. 约束函数$g(x)$的雅可比稀疏矩阵的非零元素的行索引和列索引(sparsity structure，row and column indices of each of the nonzero entries )；
   4. 拉格朗日函数的黑森稀疏矩阵的非零元素的行索引和列索引(sparsity structure，row and column indices of each of the nonzero entries )；
5. 优化问题函数的值：
   1. 优化目标函数$f(x)$；
   2. 优化目标函数的梯度函数$c$;
   3. 约束函数$g(x)$；
   4. 约束函数的雅可比矩阵$\nabla g(x{)}^T$；
   5. 拉格朗日函数的黑森矩阵${\sigma }_f{\nabla }^{2}f(x)+{\sum }_{i=1}^m{\lambda }_i{\nabla }^2{g}_i(x)$，如果使用拟牛顿法(quasi-Newton options )则不需要此矩阵；

优化问题的维度和边界约束可以直接获得，并且来自于问题定义。初始迭代点会影响优化问题的是否收敛或者是否收敛到(局部)最优解，不同的初始值可能会导致收敛到不同的局部最优解。计算微分矩阵(雅可比矩阵和黑森矩阵)可能有一点复杂，Ipopt需要提供约束函数的雅可比矩阵和拉格朗日函数的黑森矩阵的非零元素以及他们所在的行索引和列索引，并且标准接口是下三角矩阵(黑森矩阵是对称矩阵)。矩阵的非零元素确定后，在整个求解过程中是不可变的，因此，非零元素不可以仅仅包含在初始值条件下，还需要包括在求解过程中会不为零的元素。

1. Example

$$\begin{gathered} f=x_1{x}_4(x_1+x_2+x_3)+x_3 \\ s.t.x_1{x}_2{x}_3{x}_4\ge 25 \end{gathered}$$