无约束问题的最优化条件

背对人潮

于 2023-11-09 08:00:00 发布

阅读量226

点赞数

分类专栏：最优化问题 # 无约束最优化方法文章标签：算法机器学习神经网络

本文链接：https://blog.csdn.net/m0_61209712/article/details/134299411

版权

最优化问题同时被 2 个专栏收录

24 篇文章 13 订阅

订阅专栏

无约束最优化方法

9 篇文章 0 订阅

订阅专栏

本章节将介绍无约束问题中的最优化条件，其中包括五个定理。

定理分析：

定理1：设 $f(x)$ 在 $\bar{x}$ 可微，如果存在方向 d ，使 $\bigtriangledown f(\bar{x})^{T}d< 0$ ,则存在 $\delta > 0$ ，使得对每个 $\lambda \in (0,\delta )$ ，有 $f(\bar{x}+\lambda d)< f(\bar{x})$ 。

证明：函数 $f(\bar{x}+\lambda d)$ 在 $\bar{x}$ 的一阶Taylor展开式为：

$f(\bar{x}+\lambda d)=f(\bar{x})+\lambda \bigtriangledown f(\bar{x})^{T}d+o(\left | \left | \lambda d \right | \right |)$

$=f(\bar{x})+\lambda [\bigtriangledown f(\bar{x})^{T}d+ \frac{o(\left | \left | \lambda d \right | \right |)}{\lambda }]$

即只需证明 $\bigtriangledown f(\bar{x})^{T}d+ \frac{o(\left | \left | \lambda d \right | \right |)}{\lambda }< 0$ ，

其中，当 $\lambda \rightarrow 0$ 时， $\frac{o(\left | \left | \lambda d \right | \right |)}{\lambda }\rightarrow 0$ ，又由于 $\bigtriangledown f(\bar{x})^{T}d< 0$

所以当 λ 充分小时， $\bigtriangledown f(\bar{x})^{T}d+ \frac{o(\left | \left | \lambda d \right | \right |)}{\lambda }< 0$

因此存在 $\delta > 0$ ，使得 $\lambda \in (0,\delta )$ 时，有 $\lambda [\bigtriangledown f(\bar{x})^{T}d+ \frac{o(\left | \left | \lambda d \right | \right |)}{\lambda }]< 0$ ，

从而得到： $f(\bar{x}+\lambda d)< f(\bar{x})$ 。

定理2：设 $f(x)$ 在 $\bar{x}$ 可微，若 $\bar{x}$ 是局部极小点，则 $\bigtriangledown f(\bar{x})=0$ .

证明：用反证法，设 $\bigtriangledown f(\bar{x})\neq 0$ ，令 $d=-\bigtriangledown f(\bar{x})$ ,

$\bigtriangledown f(\bar{x})^{T}d=-\bigtriangledown f(\bar{x})^{T}\bigtriangledown f(\bar{x})=-\left | \left | \bigtriangledown f(\bar{x}) \right | \right |^{2}< 0$

则由定理1可知，必存在 $\delta > 0$ ，使得当 $\lambda \in (0,\delta )$ ，有 $f(\bar{x}+\lambda d)< f(\bar{x})$ ，这与 $\bar{x}$ 是局部极小点产生矛盾。

定理3：设 $f(x)$ 在 $\bar{x}$ 二次可微，若 $\bar{x}$ 是局部极小点，则 $\bigtriangledown f(\bar{x})=0$ ，且Hesse矩阵 $\bigtriangledown f(\bar{x})^{2}$ 半正定。

证明：设 d 是任意一个 n 维向量，由于 $f(x)$ 在 $\bar{x}$ 二次可微，且 $\bigtriangledown f(\bar{x})=0$ ，则函数 $f(\bar{x}+\lambda d)$ 在 $\bar{x}$ 的二阶Taylor展开式为：

$f(\bar{x}+\lambda d)=f(\bar{x})+\frac{1}{2}\lambda^{2} d^{T}\bigtriangledown ^{2}f(\bar{x})d+o(\left | \left | \lambda d \right | \right |^{2})$

$\frac{f(\bar{x}+\lambda d)-f(\bar{x})}{\lambda ^{2}}=\frac{1}{2}d^{T}\bigtriangledown ^{2}f(\bar{x})d+ \frac{o(\left | \left | \lambda d \right | \right |^{2})}{\lambda^{2} }$

由于 $\bar{x}$ 是局部极小点，当 |λ| 充分小时，必有 $f(\bar{x}+\lambda d)> f(\bar{x})$ ，故有 $d^{T}\bigtriangledown ^{2}f(\bar{x})d\geq 0$ ,即 $\bigtriangledown f(\bar{x})^{2}$ 半正定。

定理4：设 $f(x)$ 在 $\bar{x}$ 二次可微，若 $\bigtriangledown f(\bar{x})=0$ ，且Hesse矩阵 $\bigtriangledown f(\bar{x})^{2}$ 正定。则 $\bar{x}$ 是局部极小点.

定理5：设 $f(x)$ 是定义在 $R^{n}$ 上的可谓凸函数， $\bar{x}\in R^{n}$ ，则 $\bar{x}$ 为全局极小点的充要条件是 $\bigtriangledown f(\bar{x})=0$

例题分析：

例题：利用最优性条件求解下列问题： $min f(x)=\frac{1}{3}x_{1}^{3}+\frac{1}{3}x_{2}^{3}-x_{2}^{2}-x_{1}$ 。

解：

思路：利用一阶条件求驻点，利用二阶条件判断驻点是否是极小点。

$\frac{\partial f}{\partial x_{1}}=x_{1}^{2}-1$ , $\frac{\partial f}{\partial x_{2}}=x_{2}^{2}-2x_{2}$

令 $\bigtriangledown f(x)=0$ ， $\Rightarrow x_{1}=\pm 1,x_{2}=0,2$

得到驻点： $x_{1}=\binom{1}{0},x_{2}=\binom{1}{2},x_{3}=\binom{-1}{0},x_{4}=\binom{-1}{2}$

$\frac{\partial^2 f}{\partial x_{1}\partial x_{2}}=0$ ， $\frac{\partial^2 f}{\partial x_{1}^{2}}=2x_{1}$ ， $\frac{\partial^2 f}{\partial x_{2}^{2}}=2x_{2}-2$

$H=\bigtriangledown ^{2}f(x)=\bigl(\begin{smallmatrix} 2x_{1} &0 \\0 &2x_{2}-2 \end{smallmatrix}\bigr)$

$H_{1}=\bigl(\begin{smallmatrix} 2 &0 \\0 &-2 \end{smallmatrix}\bigr)$ ， $H_{2}=\bigl(\begin{smallmatrix} 2 &0 \\0 &2 \end{smallmatrix}\bigr)$ ， $H_{3}=\bigl(\begin{smallmatrix} -2 &0 \\0 &-2 \end{smallmatrix}\bigr)$ ， $H_{4}=\bigl(\begin{smallmatrix} -2 &0 \\0 &2 \end{smallmatrix}\bigr)$