Matlab fmincon

参考：fmincon的官方文档

Syntax

x = fmincon(fun,x0,A,b)
x = fmincon(fun,x0,A,b,Aeq,beq)
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub)
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon)
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options)
x = fmincon(problem)
[x,fval] = fmincon(___)
[x,fval,exitflag,output] = fmincon(___)
[x,fval,exitflag,output,lambda,grad,hessian] = fmincon(___)

Description

求解带约束的非线性优化问题。
求解 $f(x)$ 满足约束的最小值，表达式如下：
$$\underset{x}{\min }f(x)满足\{\begin{array}{lr}c(x)\le 0& \\ ceq(x)=0& \\ A\cdot x\le b& \\ Aeq\cdot x=beq& \\ lb\le x\le ub& \end{array}$$
$c(x)\le 0$ 是非线性不等式约束；$ceq(x)=0$ 是非线性等式约束；$A\cdot x\le b$是线性不等式约束；$Aeq\cdot x=beq$是线性等式约束；$lb\le x\le ub$是$x$的上下界约束。
"$\cdot$ "是点乘，$b$ 和 $beq$ 是向量，$A$ 和 $Aeq$ 是矩阵，$c(x)$ 和 $ceq(x)$ 是返回一个向量，而 $f(x)$ 是返回一个标量。 $f(x)$ ，$c(x)$ 和 $ceq(x)$ 可以是非线性函数。x，lb 和 ub 可以是向量或矩阵；参见：Matrix Arguments。

---

$x=fmincon(fun,x0,A,b)$ 从 $x0$ 开始，寻找一个 $x$ ， 满足 $f(x)$ 最小且满足约束 $A\cdot x\le b$ 。 $x0$ 可以是标量，向量或矩阵。

传递额外参数说明了如何将额外参数传递给目标函数和非线性约束函数。

---

$x=fmincon(fun,x0,A,b,Aeq,beq)$ 从 $x0$ 开始，寻找一个 $x$ ，满足 $fun$ 最小且满足$Aeq\cdot x=beq$ 和 $A\cdot x\le b$. 如果没有不等式约束, 置 $A=[]$ 、$b=[]$.

---

$x=fmincon(fun,x0,A,b,Aeq,beq,lb,ub)$ 从 $x0$ 开始，寻找一个 $x$ ，满足 $fun$ 最小且满足$Aeq\cdot x=beq$ 、 $A\cdot x\le b$ 且 $lb\le x\le ub$. 如果不存在等式约束, 设置 $Aeq=[]$ 、 $beq=[]$. 如果 $x(i)$ 没有下界, 设置 $lb(i)=-Inf$, 如果 $x(i)$ 没有上界, 置 $ub(i)=Inf$.

如果问题的输入范围( $lb$ 和 $ub$ )不一致（原文是inconsistent），则$fmincon$会抛出错误。 在这种情况下，输出 $x$ 为 $x0$ ，$fval$ 为 $[]$。
对于默认的“interior-point”算法，$fmincon$ 将 $x$ 中超出边界（$lb\le x\le ub$）的分量设置为边界值。 对于“trust-region-reflective”算法，$fmincon$ 将 $x$ 中超出边界的分量设置到边界内部。 对于其他算法，$fmincon$ 将 $x$ 中超出边界的分量设置为最小的边界值。 $x$ 中满足边界调节的分量不会更改。 请参阅迭代可以违反约束。

---

$x=fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon)$ 从 $x0$ 开始， 寻找一个 $x$ ， 满足线性约束$Aeq\cdot x=beq$ 、 $A\cdot x\le b$ 、 $lb\le x\le ub$ 以及非线性约束 $c(x)\le 0$ 和 $ceq(x)=0$ ，$c(x)$ 和 $ceq(x)$ 定义在 $nonlcon$(一个函数) 中. 如果不存在下界, 置 $lb=[]$ ；如果不存在下界，置 $ub=[]$.

---

$x=fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options)$使用指定的选项 $options$来优化问题. 使用 optimoptions来设置这些选项. 如果没有非线性约束，置 $nonlcon=[]$.

---

$x=fmincon(problem)$ 寻找 $problem$ 的最小值, $problem$ 是一种Input Arguments中描述的结构（structure）. 可以通过从Optimization app导出一个 $problem$ , 参见Exporting Your Work.

---

$[x,fval]=fmincon(\_\_\_)$ , 对于任何调用形式，返回解$x$和在解$x$处目标函数$fun$的值。

---

$[x,fval,exitflag,output]=fmincon(\_\_\_)$，$exitflag$表示 $fmincon$退出的条件(退出的原因)；output是一个结构（structure），描述了一些优化过程的信息。

---

$[x,fval,exitflag,output,lambda,grad,hessian]=fmincon(\_\_\_)$ 额外返回:

$lambda$ — Structure with fields containing the Lagrange multipliers at the solution x.

$grad$ — $fun$ 在解 $x$处的梯度.

hessian — $fun$ 在解 $x$ 处的Hessian矩阵. 参见 fmincon Hessian.

Examples

Linear Inequality Constraint

求Rosenbrock函数：
$$f(x)=100(x_2^2-x_1^2{)}^2+(1-x_1{)}^2\text{\hspace{1em}(1)}$$
满足约束：
$$x_1+2x_2\le 1\text{\hspace{1em}(2)}$$
取得最小值时的$x$。Rosenbrock在无约束的情况下，最优解是$x_1=1,x_2=1$；但有约束2时，$1+2\ast 1=3>1$，所以(1, 1)不是有约束2的情况下最优解。

求解步骤如下：

• 目标函数
  编写一个目标函数 fun （就是$f(x)$，可以像下面一样写成一个匿名函数，也可以单独新建一个函数文件fun.m，在fun.m里编写目标函数的代码，并返回一个值）：

  fun = @(x)100*(x(2)-x(1)^2)^2 + (1-x(1))^2;
  

• 约束
  约束2是一个线性不等式，需要表达成 $A\cdot x\le b$ 的形式。对于约束2，$A=[1,2],b=1$。对于$x_0$的初值，这里取$x_0=[-1,2]$；给$x_0$取初值时，如果知道$x$的解所在范围，可以去一个附近的值，如果不知道，随机取非零值就行。

• 完整代码（复制到Matlab中，即可运行）

  	fun = @(x)100*(x(2)-x(1)^2)^2 + (1-x(1))^2;
  	x0 = [-1,2];
  	A = [1,2];
  	b = 1;
  	x = fmincon(fun,x0,A,b)
  

  运行结果如下：

  Local minimum found that satisfies the constraints.
  
  Optimization completed because the objective function is non-decreasing in 
  feasible directions, to within the default value of the optimality tolerance,
  and constraints are satisfied to within the default value of the constraint tolerance.
  
  <stopping criteria details>
  
  
  x =
  
      0.5022    0.2489
  

  两段英文是调用 fmincon 的结束原因（非常重要！一定要仔细看，有时候优化次数不够，就会在英文中体现出来）。x 之后的就是优化的结果，$x_1=0.5022,x_2=0.2489$。

Linear Inequality and Equality Constraint

求Rosenbrock函数：
$$f(x)=100(x_2^2-x_1^2{)}^2+(1-x_1{)}^2\text{\hspace{1em}(3)}$$
满足约束：
$$\{\begin{array}{lr}{x}_1+2x_2\le 1& \\ 2x_1+x_2=1& \end{array}\text{\hspace{1em}(4)}$$
取得最小值时的$x$。

• 目标函数
  目标函数和上面的一致：

  fun = @(x)100*(x(2)-x(1)^2)^2 + (1-x(1))^2;
  

• 约束

  • $x_1+2x_2\le 1$是线性不等式约束，需要改写成$A\cdot x\le b$的形式，故$A=[1,2],b=1$。
  • $2x_1+x_2=1$是线性等式约束，需要改写成$Aeq\cdot x=beq$的形式，故$Aeq=[2,1],beq=1$。
  • 取$x_0=[0.5,0]$。

• 完整代码

  fun = @(x)100*(x(2)-x(1)^2)^2 + (1-x(1))^2;
  x0 = [0.5,0];
  A = [1,2];
  b = 1;
  Aeq = [2,1];
  beq = 1;
  x = fmincon(fun,x0,A,b,Aeq,beq)
  

  运行结果：

  此处省略那两段英文
  
  x =
  
      0.4149    0.1701
  

Bound Constraints

求Rosenbrock函数：
$$f(x)=100(x_2^2-x_1^2{)}^2+(1-x_1{)}^2\text{\hspace{1em}(5)}$$
满足约束：
$$\{\begin{array}{lr}0\le x_1\le 1& \\ 0\le x_2\le 2& \end{array}\text{\hspace{1em}(6)}$$
取得最小值时的$x$。

• 约束
  约束只有对$x_1$和$x_2$的取值范围有约束，这叫边界约束。边界约束可以分别为每一个元素指定上界和下界。对于本例的边界约束，写成代码是：

  lb = [0,0]; % lb是下界
  ub = [1,2];	% ub是上界
  

  由于没有其他线性约束，故：

  A = [];
  b = [];
  Aeq = [];
  beq = [];
  

• 完整代码
  取$x_0=[0.5,1]$

  fun = @(x)1+x(1)/(1+x(2)) - 3*x(1)*x(2) + x(2)*(1+x(1));
  
  lb = [0,0];
  ub = [1,2];
  
  A = [];
  b = [];
  Aeq = [];
  beq = [];
  
  x0 = [0.5,1];
  x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub)
  

  运行结果：

  x =
  
  1.0000    2.0000
  

  另外，当初值$x_0$的取值不同时，得到的优化结果可能也不同。 参见： Obtain the Objective Function Value。

• 补充：如果 $x$ 中某个元素的上界或者下界是无穷大？
  假如边界约束如下：
  $$\{\begin{array}{lr}1\le x_1& \\ x_2\le 4& \end{array}\text{\hspace{1em}(7)}$$
  改写成有上下界的形式就是：
  $$\{\begin{array}{lr}1\le x_1\le +\infty & \\ -\infty \le x_2\le 4& \end{array}\text{\hspace{1em}(8)}$$
  那么有：

  lb = [1, -Inf];  % lb是下界
  ub = [Inf, 4];   % ub是上界
  

  如果没有上界，那么上界就是Inf；如果没有下界，下界就是-Inf。

Nonlinear Constraints

求Rosenbrock函数：
$$f(x)=100(x_2^2-x_1^2{)}^2+(1-x_1{)}^2\text{\hspace{1em}(9)}$$
满足约束：
$$\{\begin{array}{lr}0\le x_1\le 0.5& \\ 0\le x_2\le 0.8& \\ (x_1-\frac{1}{3}{)}^2+(x_2-\frac{1}{3}{)}^2\le 1.5^2& \end{array}\text{\hspace{1em}(10)}$$
取得最小值时的$x$。

• 约束
  除了$x_1$和$x_2$的边界有约束之外，还多了第三个非线性约束；含义是$x_1$和$x_2$组成的点，在圆心为$(\frac{1}{3},\frac{1}{3})$ 半径为1.5的圆内。
  对于非线性约束，需要自己实现一个函数nonlcon，来计算 $c(x)$ 和 $ceq(x)$。对于约束$(x_1-\frac{1}{3}{)}^2+(x_2-\frac{1}{3}{)}^2\le 1.5^2$，需要转换为$c(x)\le 0$的形式，所以需要把$1.5^2$移动到表达式的左边，即：$(x_1-\frac{1}{3}{)}^2+(x_2-\frac{1}{3}{)}^2-1.5^2\le 0$，故 $c(x)=(x_1-\frac{1}{3}{)}^2+(x_2-\frac{1}{3}{)}^2-1.5^2$。

  新建一个函数nonlcon.m，输入以下代码：

  % nonlcon.m
  function [c,ceq] = nonlcon(x)
  c = (x(1)-1/3)^2 + (x(2)-1/3)^2 - (1.5)^2;
  ceq = [];
  

  c 就是 $c(x)$(非线性不等式约束)的值；ceq就是$ceq(x)$(非线性等式约束)的值，因为本例中没有非线性等式约束，所以置为$[]$

• 完整代码

  % example4.m
  fun = @(x)1+x(1)/(1+x(2)) - 3*x(1)*x(2) + x(2)*(1+x(1));
  lb = [0,0.2];
  ub = [0.5,0.8];
  A = [];
  b = [];
  Aeq = [];
  beq = [];
  x0 = [1/4,1/4];
  x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,@nonlcon)
  

  运行结果：

  x =
  
  0.0000    0.2000
  

• 补充: 如果有多个非线性不等式约束或者多个非线性等式约束？
  假如函数的约束如下：
  $$\{\begin{array}{lr}{c}_1(x)\le 0& \\ c_2(x)\le 0& \\ ce{q}_1(x)=0& \\ ce{q}_2(x)=0& \end{array}\text{\hspace{1em}(11)}$$
  那么，nonlcon.m的代码应是：

  % nonlcon.m
  function [c,ceq] = nonlcon(x)
  c1 = ...
  c2 = ...
  ceq1 = ...
  ceq2 = ...
  c = [c1; c2];
  ceq = [ceq1; ceq2];
  

  其中：$c1=c_1(x),c2=c_2(x),ceq1=ce{q}_1(x),ceq2=ce{q}_2(x)$。就是说，有几个非线性不等式约束，$c$中就应该有几个元素，$ceq$同理。