最优化局部极小点的条件（二）

最新推荐文章于 2020-12-03 21:44:58 发布

weixin_34194379

最新推荐文章于 2020-12-03 21:44:58 发布

阅读量527

点赞数

回忆一下关于 $\large n$ 元实值函数的 $\large f:R^{n}\rightarrow R$ 的求导问题，函数 $\large f$ 的一阶导数 $\large Df$ 为

$\large Df\triangleq \begin{bmatrix} \frac{\partial f}{\partial x_{1}},&\frac{\partial f}{\partial x_{2}}, &\cdots, & \frac{\partial f}{\partial x_{n}} \end{bmatrix}$

函数 $\large f$ 的梯度 $\large \triangledown f$ 正好是导数 $\large Df$ 的转置，即 $\large \triangledown f=(Df)^{T}$ ；函数 $\large f$ 的二阶导数，也称为hessian矩阵，可表示为：

$\large H(x)\triangleq D^{2}f(x)=\begin{bmatrix} \frac{\partial^2 f}{\partial x_{1}^2}& \cdots & \frac{\partial^2 f}{\partial x_{n}\partial x_{1}} \\ \vdots & & \vdots \\ \frac{\partial^2 f}{\partial x_{1}\partial x_{n}}&\cdots &\frac{\partial^2 f}{\partial x_{n}^2} \end{bmatrix}$

对于向量 $\large d\in R^{n}$ , $\large d\neq 0$ 和约束集中的某个点 $\large x\in \Omega$ ，如果存在一个实数

This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.

使得对于所有 $\large a\in [0,a_{0}]$ ， $\large x+ad$ 仍然在约束集内，即 $\large x+ad\in \Omega$ ，则称 $\large d$ 为 $\large x$ 处的可行方向！

$\large d$ 为 $\large n$ 元实值函数 $\large f:R^{n}\rightarrow R$ 在 $\large x\in \Omega$ 处的可行方向，则函数 $\large f$ 沿方向 $\large d$ 的方向导数 $\large \partial f/\partial d$ 可表示为

$\large \frac{\partial f}{\partial d}(x)=\lim_{a\rightarrow 0}\frac{f(x+ad)-f(x)}{a}$

这也是一个实值函数，如果 $\large \left \| d \right \|=1$ ，那么方向导数 $\large \partial f/\partial d$ 表示的是函数 $\large f$ 的值在 $\large x$ 处沿方向 $\large d$ 的增长率。为了计算方向导数，假定 $\large x$ 和 $\large d$ 已知，这样 $\large f(x+ad)$ 就变成了关于 $\large a$ 的函数，有

$\large \frac{\partial f}{\partial d}(x) =\left.\dfrac{d}{da}f(x+ad)\right|_{a=0}$

应用链式法则，可得

$\large \frac{\partial f}{\partial d}(x) =\left.\dfrac{d}{da}f(x+ad)\right|_{a=0}=\triangledown f(x)^{T}d=\left \langle \triangledown f(x),d \right \rangle=d^{T}\triangledown f(x)$

由此可见，当 $\large d$ 是一个单位向量( $\large \left \| d \right \|=1$ )时，函数f的值在 $\large x$ 处沿方向 $\large d$ 的增长率可以用内积 $\large \left \langle \triangledown f(x),d \right \rangle$ 表示。

一阶必要条件：多元实值函数 $\large f$ 在约束集 $\large \Omega$ 上一阶连续可微，即 $\large f\in C^{1}$ ，约束集 $\large \Omega$ 是 $\large R^{n}$ 的子集。如果 $\large x^{*}$ 是函数 $\large f$ 在 $\large \Omega$ 上的局部极小点，则对于 $\large x^{*}$ 处的任意可行方向 $\large d$ ，都有

$\large d^{T}\triangledown f(x^{*})\geqslant 0$

成立。

推论：局部极小点位于约束集内部时的一阶必要条件：多元实值函数 $\large f$ 在约束集 $\large \Omega$ 上一阶连续可微，即 $\large f\in C^{1}$ ，约束集 $\large \Omega$ 是 $\large R^{n}$ 的子集，如果 $\large x^{*}$ 是函数 $\large f$ 在 $\large \Omega$ 上的局部极小点，且是 $\large \Omega$ 的内点，则有

$\large \triangledown f(x^{*})=0$

成立。

局部极小点的二阶必要条件：多元实值函数 $\large f$ 在约束集 $\large \Omega$ 上二阶连续可微，即 $\large f\in C^{2}$ ，约束集 $\large \Omega$ 是 $\large R^{n}$ 的子集，如果 $\large x^{*}$ 是函数 $\large f$ 在 $\large \Omega$ 上的局部极小点， $\large d$ 是 $\large x^{*}$ 处的一个可行方向，且 $\large \triangledown f(x^{*})=0$ ，则有

$\large d^{T}H(x^{*})d\geqslant 0$

其中，H为函数f的hessian矩阵。

推论：局部极小点位于约束集内部时的二阶必要条件：多元实值函数 $\large f$ 在约束集 $\large \Omega$ 上二阶连续可微，即 $\large f\in C^{2}$ ，约束集 $\large \Omega$ 是 $\large R^{n}$ 的子集，如果 $\large x^{*}$ 是函数 $\large f$ 在 $\large \Omega$ 上的局部极小点，且是 $\large \Omega$ 的内点，则有

$\large \triangledown f(x^{*})=0$

hessian矩阵 $\large H(x^{*})$ 半正定，也就是说，对于所有的向量 $\large d\in R^{n}$ ，都有

$\large d^{T}H(x^{*})d\geqslant 0$

局部极小点的二阶充分条件（局部极小点为内点）：多元实值函数 $\large f$ 在约束集上二阶连续可微，即 $\large f\in C^{2}$ ， $\large x^{*}$ 是约束集的一个内点，如果同时满足

1 $\large \triangledown f(x^{*})=0$

2