漫步最优化五——可行域

$\textbf{我不介意你慢慢的到来，}$
$\textbf{我也不介意我们多少次擦肩而过，}$
$\textbf{因为我一直相信我们都在相遇的路上马不停蹄。}$
$\qquad\qquad\qquad\qquad\quad\textbf{——畅宝宝的傻逼哥哥}$

任何满足等式以及不等式约束的点 $\textbf{x}$称为优化问题的可行点，满足约束条件的点集构成了 $f(\textbf{x})$的可行定义域，显然，约束定义了一个 $E^n$的子集，因此可行域可以定义为：
$$R=\{\textbf{x}:a_i(\textbf{x})=0\ for\ i=1,2,\ldots,p\ and\ c_j(\textbf{x})\geq 0\ for\ j=1,2,\ldots,q\}$$

其中$R\subset E^n$

最优点$\textbf{x}^*$必须位于可行域中，因此一般的约束优化问题可以写成：

$$minimize\ f(\textbf{x})\quad for\ \textbf{x}\in R$$

任何不在$R$中的点$\textbf{x}$称为不可行点。

如果优化问题的约束都是不等式，那么约束将$E^n$空间中的点分成三种类型，如下所示：

1. 内点
2. 边界点
3. 外点

内点就是对所有$j,c_j(\textbf{x})>0$的点，边界点就是至少有一个$c_j(\textbf{x})=0$的点，外点就是至少有一个$c_j(\textbf{x})<0$的点。内点是可行点，边界点可能是也可能不是可行点，而外点是不可行点。

如果约束$c_m(\textbf{x})$在某次迭代中等于零，那么我们能说这个约束是活跃的，如果达到收敛条件，$c_m(\textbf{x}^*)$等于零，那么最优点$\textbf{x}^*$在边界上。对于这样的情况，我们称最优点是有约束的，如果约束都是等式，那么可行点一定位于$a_i(\textbf{x})=0$超平面的交集上，其中$i=1,2,\ldots,p$，下面用例子说明上面的定义与概念。

$\textbf{例1：}$用作图法，求解下面的优化问题：

$$\begin{align*} minimize\ &f(\textbf{x})=x_1^2+x_2^2-4x_1+4\\ subject\ to:\ &c_1(\textbf{x})=x_1-2x_2+6\geq 0\\ &c_2(\textbf{x})=-x_1^2+x_2-1\geq 0\\ &c_3(\textbf{x})=x_1\geq 0\\ &c_4(\textbf{x})=x_2\geq 0 \end{align*}$$

$\textbf{解：}$目标函数可以写成：

$$(x_1-2)^2+x_2^2=f(\textbf{x})$$

因此$f(\textbf{x})$在$(x_1,x_2)$平面上的轮廓为圆心$x_1=2,x_2=0$，半径$\sqrt{f(\textbf{x})}$的同心圆，约束$c_1(\textbf{x}),c_2(\textbf{x})$表明

$$x_2\leq\frac{1}{2}x_1+3$$

且

$$x_2\geq x_1^2+1$$

而约束$c_3(\textbf{x}),c_4(\textbf{x})$表明$x_1,x_2$为正，$f(\textbf{x})$的轮廓与约束边界如图1所示。

图1中的可行域就是阴影部分，问题的解位于点$A$处，在约束$c_2(\textbf{x})$的边界上。实际上，这个解是约束最优点，所以如果这个问题用数学规划求解，当达到问题的解时，约束$c_2(\textbf{x})$将是活跃的。

图1

在没有约束的情况下，$f(\textbf{x})$的最小值发生在点$B$处。

$\textbf{例2：}$用作图法求解下面的优化问题：

$$\begin{align*} minimize\ f(\textbf{x})=x_1^2+x_2^2+2x_2\\ subject\ to:\ a_1(\textbf{x})=x_1^2+x_2^2-1=0\\ c_1(\textbf{x})=x_1+x_2-0.5\geq 0\\ c_2(\textbf{x})=x_1\geq 0\\ c_3(\textbf{x})=x_2\geq 0 \end{align*}$$

$\textbf{解：}$目标函数可以写成：

$$x_1^2+(x_2+1)^2=f(\textbf{x})+1$$

因此$f(\textbf{x})$在$(x_1,x_2)$平面上的轮廓为圆心$x_1=0,x_2=-1$，半径$\sqrt{f(\textbf{x})+1}$的同心圆，约束$a_1(\textbf{x})$是圆心在原点半径为1的圆。另一方 main，约束$c_1(\textbf{x})$是一条直线，因为它要求

$$x_2\geq -x_1+0.5$$

最后两个约束表面$x_1,x_2$是负的，因此得到的图像如图2所示。

图2

这时候，可行域在 $a_1(\textbf{x})=0$第一象限的弧上，满足约束的最优解在点 $A$处，这个例子中有两个活跃的约束，$a_1(\textbf{x}),c_3(\textbf{x})$。

没有约束的情况下，解在点$B$处。

在上面的实例中，构成可行域的点集合如图3(a)所示是在一起的，但有时候可行域由两个或多个不联通的部分组成，如图3(b)所示。如果是后者，那么会产生下面的困难。一般而言优化过程都是从初始估计值开始，然后不断迭代产生一系列值，那么如果可行域由两部分组成，$A,B$，如果初始值位于$A$中，那么最优解就会落到$A$中，那么就可能错过 B <script type="math/tex" id="MathJax-Element-6786">B</script>中更好的解。然而幸运的是，实际生活中的大部分问题，通过仔细的表示问题，是可以避免这个困难的。

图3