【最优化方法】无约束优化问题（函数梯度、下降方向、最优性）

我们把一元方程推广到 $n$ 维无约束极小化问题，得到解无约束优化问题

$$\underset{x\in {\mathbf{R}}^n}{\min }f(x)$$

下降方向

设 $f(x)$ 为定义在空间 ${\mathbf{R}}^n$ 上的连续函数，点 $\bar{x}\in {\mathbf{R}}^n$，若对于方向 $s\in {\mathbf{R}}^n$ 存在数 $\delta >0$ 使成立
$$f(\bar{x}+\alpha s)<f(\bar{x}),\forall \alpha \in (0,\delta ),$$

则称 s 为 $f(x)$ 在 $\bar{x}$ 处的一个下降方向，在点 $\bar{x}$ 处的所有下降方向的全体记为 $\mathcal{D}(\bar{x}).$

下降方向与梯度关系

设函数 $f(x)$ 在点 $\bar{x}$ 处连续可微，如存在非零向量 $s\in R^n$ 使成立
$$\nabla f(\bar{x}{)}^{T}s<0$$

则称向量 $s$ 为 $f(x)$ 在 $\bar{x}$ 处的一个下降方向。

证明：对于充分小的 $\alpha >0$，将 $f(\bar{x}+\alpha s)$ 在点 $\bar{x}$ 处作 Taylor 展开，有
$$f(\bar{x}+\alpha s)=f(\bar{x})+\alpha \nabla f(\bar{x}{)}^{T}s+o(||\alpha s||)$$

由 $\alpha >0$ 以及 $\nabla f(\bar{x}{)}^{\mathrm{T}}s<0$ 知存在 $\delta >0$, 使对任意 $\alpha \in (0,\delta )$ 有
$$\alpha \nabla f(\bar{x}{)}^{\mathrm{T}}s+o(\Vert \alpha s\Vert )<0.$$

结合这两式有
$$f(\bar{x}+\alpha s)<f(\bar{x}),\forall \alpha \in (0,\delta ),$$

这就证明了 $s$ 是 $f(x)$ 在点 $\bar{x}$ 处的下降方向.
$$\mathcal{D}(\bar{x})=\left\{s\mid \nabla f(\bar{x}{)}^{\mathrm{T}}s<0\right\}$$

记号：
$$g(x)=\nabla f(x)G(x)={\nabla }^{2}f(x)$$

例题

偏导数

求函数偏导数
$$f(x,y)=\{\begin{array}{ll}\frac{xy}{x^2+y^2}& (x,y)\ne (0,0)\\ & \\ 0& (x,y)=(0,0)\end{array}$$

先求函数对 $x$ 的偏导数 $f_x$ ：
$$\begin{gathered} f_x=\frac{y(x^2+y^2)-2x\cdot xy}{(x^2+y^2{)}^2}=\frac{y(y^2-x^2)}{(x^2+y^2{)}^2}x\ne 0 \\ {f}_x=\frac{f(x,0)-f(0,0)}{x}=0x\to 0，y=0 \end{gathered}$$

同理求 $f_y$ ：
$$\begin{gathered} f_y=\frac{x(x^2+y^2)-2y\cdot xy}{(x^2+y^2{)}^2}=\frac{x(x^2-y^2)}{(x^2+y^2{)}^2}y\ne 0 \\ {f}_y=\frac{f(0,y)-f(0,0)}{y}=0y\to 0，x=0 \end{gathered}$$

故：
$$f_x=\{\begin{array}{ll}\frac{y(y^2-x^2)}{(x^2+y^2{)}^2}& x\ne 0\\ 0& x=0\end{array}{f}_y=\{\begin{array}{ll}\frac{x(x^2-y^2)}{(x^2+y^2{)}^2}& y\ne 0\\ 0& y=0\end{array}$$

方向导数

求函数 $f(x,y)=x^2-xy+y^2$ 在点 $(1,1)$ 沿于 $x$ 轴方向夹角为 $\alpha$ 的方向射线 $\vec{l}$ 的方向导数，并问在怎样的方向上此方向导数有：（1）最大值；（2）最小值；（3）等于零？

解：
$$\begin{array}{rl}\frac{\partial f}{\partial l}& =f_x(1,1)\cdot cos\alpha +f_y(1,1)\cdot sin\alpha \\ & =(2x-y){|}_{(1,1)}\cdot cos\alpha +(2y-x){|}_{(1,1)}\cdot sin\alpha \\ & =cos\alpha +sin\alpha =\sqrt{2}sin(\alpha +\frac{\pi }{4})\end{array}$$

故：

（1）当 $\alpha =\frac{\pi }{4}$ 时，方向导数达到最大值 $\sqrt{2}$ ；

（2）当 $\alpha =\frac{5\pi }{4}$ 时，方向导数达到最小值 $-\sqrt{2}$ ；

（3）当 $\alpha =\frac{3\pi }{4}$ 和 $\alpha =\frac{7\pi }{4}$ 时，方向导数等于 $0$ ；

梯度（导数）

求函数 $u=x^2+2y^2+3z^2+3x-2y$ 在点 $(1,1,2)$ 处的梯度，并在哪些点处梯度为零？

解：
$$f_x=2x+3，f_y=4y-2，f_z=6z$$$$\nabla u(x,y,z)=\frac{\partial u}{\partial x}\vec{i}+\frac{\partial u}{\partial y}\vec{j}+\frac{\partial u}{\partial z}\vec{k}=(2x+3)\vec{i}+(4y-2)\vec{j}+(6z)\vec{k}$$$$\nabla u(1,1,2)=(2\times 1+3)\vec{i}+(4\times 1-2)\vec{j}+(6\times 2)\vec{k}=5\vec{i}+2\vec{j}+12\vec{k}$$

故函数在点 $(1,1,2)$ 处的梯度为 $5\vec{i}+2\vec{j}+12\vec{k}$.

令 $f_x=f_y=f_z=0$， 得 $x=-\frac{3}{2}，y=\frac{1}{2}，z=0$，因此函数在点 $P_0(-\frac{3}{2},\frac{1}{2},0)$ 处梯度为零.

下降方向

确定线性函数 $f(x)=2x_1-x_2+3x_3$ 的所有下降方向。请问这样的下降方向是否同所在点的位置有关？

函数 $f(x)$ 的梯度为：

$$\nabla f(x)={\left[\begin{array}{ccc}\frac{\partial f}{\partial x_1}& \frac{\partial f}{\partial x_2}& \frac{\partial f}{\partial x_3}\end{array}\right]}^T={\left[\begin{array}{ccc}2& -1& 3\end{array}\right]}^T$$
一个下降方向 $s$，满足 $\nabla f(\bar{x}{)}^{T}s<0$，所以我们找到向量 $s$ 使得
$$\left[\begin{array}{ccc}2& -1& 3\end{array}\right]\left[\begin{array}{c}{s}_1\\ s_2\\ s_3\end{array}\right]<0$$
满足的条件是 $s=\left[\begin{array}{c}{s}_1\\ s_2\\ s_3\end{array}\right]$ 满足 $2s_1-s_2+3s_3<0$ ，

故满足条件的所有向量 $s$ 为线性函数 $f(x)=2x_1-x_2+3x_3$ 的所有下降方向。

并且，下降方向同所在点的位置无关。

最优性条件

下述所有条件使用 Taylor 展开即可证明

一阶必要条件

设 $f:D\subset {\mathbf{R}}^n\to {\mathbf{R}}^1$ 在开集 $D$ 上连续可微， 若 $x^{\ast }\in D$ 是 $f$ 的局部极小点，则
$$g(x^{\ast })=0$$
称满足一阶必要条件 $g(x^{\ast })=0$ 的点为稳定点（也称为驻点）；

稳定点分为三种类型：极大值点、极小值点、鞍点。

二阶必要条件

设 $f:D\subset {\mathbf{R}}^n\to {\mathbf{R}}^1$ 在开集 $D$ 上二阶连续可徽，若$x^{\ast }\in D$ 是 $f$ 的局部极小点，则 $g(x^{\ast })=0$ 且 $G(x^{\ast })⩾0$ 为半正定矩阵。

二阶充分条件

设 $f:D\subset {\mathbf{R}}^n\to {\mathbf{R}}^1$ 在开集 $D$ 上二阶连续可微，则 $x^{\ast }\in D$ 是 $f$ 的一个严格局部极小点的充分条件是 $g(x^{\ast })=0$ 且 $G(x^{\ast })$ 是正定矩阵

无约束凸规划的最优性条件

​ 设 $f:D\subset {\mathbf{R}}^n\to {\mathbf{R}}^1$ 在开集 $D$ 上连续可微， 则 $x^{\ast }\in D$ 是 $f$ 的全局极小点 $\iff g(x^{\ast })=0$