闲扯数学规划问题(1)-极大值与等高线

最优化问题

　　数学规划问题，或着说最优化问题，一般可写成下面的形式：

$$\begin{array}{} max & f(x) \tag{1}\\ s.t. & g(x) = c \\ \end{array}$$

先看看二维的问题

　　为了简单起见，我们考虑二维情况，假设$x=(x_1,x_2)$，则最优化问题变成如下形式：

$$\begin{array}{} max & f(x_1,x_2) \tag{2}\\ s.t. & g(x_1,x_2) = c \\ \end{array}$$

　　几何意义非常明显，要求在曲线 $g(x_1,x_2) = c$ 上找一点，使得函数 $f(x_1,x_2)$ 取得最大值。因为$f(x_1,x_2)$是一个曲面，形象一点说，问题就是在山上寻找一条山路的最高点。

聊一聊等高线

　　求解最优规划问题的关键在于曲面的等高线。我们停下脚步，看看等高线有趣的性质。对于曲面$f(x_1,x_2)$来说，其等高线可以表示成下面的形式，

$$f(x_1,x_2)=c \tag{3}$$
　　两边进行微分，得到，
$$\frac{\partial f}{\partial x_1}dx_1+\frac{\partial f}{\partial x_2}dx_2=0 \tag{4}$$
　　可以看出， $dx_1,dx_2$之间是有关系的。实际上，微分 $dx=(dx_1,dx_2)$与曲线 $f(x_1,x_2)=c$切线方向一致。如果觉得不好理解的话，可以吧 $x_1,x_2$换成 $x,y$，问题就变成一元函数求导，我们知道 $dy/dx$表示曲线的切线斜率，当然 $(dx,dy)$就与曲线的切线方向相同。于是，我们得到曲面等高线的切线向量，
$$dx=(dx_1,dx_2) \tag{5}$$
　　我们知道，曲面 $f(x_1,x_2)$的梯度可表示为，
$$\nabla f(x_1,x_2)=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2}) \tag{6}$$
　　于是(4)式可以表示为，
$$\nabla f \cdot dx = 0\tag{7}$$
　　可以看出， 曲面上任意一点，其等高线的切线方向与其梯度方向相互垂直。

约束条件本质上是曲面的等高线

　　约束条件$g(x_1,x_2) = c$，实际上就是曲面$g(x_1,x_2)$的一条等高线。根据前面的结论，它的切线方向与梯度方向垂直。

目标函数的等高线

　　二元函数的最优规划问题，和寻找山间小路上的最高点的思路是一样。到达山间小路最高点位置后，无论沿山间小路哪个方向走，都是下坡，都会走向较低的等高线，因此，在小路的最高点位置，小路必须与山坡的等高线相切。
　　同样，我们沿着曲线 $g(x_1,x_2) = c$ 到达最曲面$f(x_1,x_2)$最高点，这条小路一定与曲面 $f(x_1,x_2)$ 在此位置的等高线相切，也就是曲线 $g(x_1,x_2) = c$ 与曲线 $f(x_1,x_2)=c'$在最大值位置相切。或者从梯度的角度来看，曲面$f(x_1,x_2),g(x_1,x_2)$在最大值位置梯度方向是相同的。
　　换句话讲，如果规划问题在$(x_1,x_2)$处取得最大值，一定存在常数 $\lambda$ 使得，

$$\nabla f(x_1,x_2)=\lambda\nabla g(x_1,x_2)\tag{8}$$
　　看到这里怎么有些懵圈呢？最优解和常数 $c$ 怎么就没关系了呢？不是说好的 $g(x_1,x_2)=c$ 吗？实际上， $\lambda$ 是待定参数， $c$ 的值可以用来确定 $\lambda$ 的值。下面我们牛刀小试，看一个具体的例子。

一个具体例子

　　例1 求下面规划，

$$\begin{array}{} max & 10-(x_1-1)^2+(x_2-2)^2\tag{9}\\ s.t. & 2x_1+x_2=1 \end{array}$$
　　 解：
$$\begin{array}{} f(x_1,x_2)&=&10-(x_1-1)^2+(x_2-2)^2\\ g(x_1,x_2)&=&2x_1+x_2\\ \end{array}$$
　　由于，
$$\nabla f(x_1,x_2)=\lambda\nabla g(x_1,x_2)$$
　　于是，
$$(-2x_1+2,-2x_2+4)=\lambda(2,1)$$
　　即，
$$\left\{ \begin{array}{} -2x_1+2&=&2\lambda\\ -2x_2+4&=&\lambda\\ \end{array} \right.$$
　　所以，
$$x_1=-\lambda+1, x_2=-\frac12\lambda+2\tag{10}$$
　　代入(9)，
$$2x_1+x_2=1$$
　　即，
$$\lambda=\frac65$$
　　代入(10)，得，
$$x_1=-\frac15,x_2=\frac75$$
　　此时，
$$\begin{array}{} f(x_1,x_2)&=&10-(x_1-1)^2+(x_2-2)^2\\ &=&10-(-\frac15-1)^2+(\frac75-2)^2\\ &=&... ... \end{array}$$
$\blacksquare$
　　
　　（未完待续…）