漫步最优化十——极值类型

$\textbf{深夜里，你不断徘徊在我的心田，}$
$\textbf{你的每一句誓言都在耳边回荡，}$
$\textbf{你闪动的双眼隐藏着你的羞涩。}$
$\textbf{天天想你，}$
$\textbf{天天守住一颗心，}$
$\textbf{我会把最好的爱留给你。}$
$\qquad\qquad\quad\textbf{——畅宝宝的傻逼哥哥}$

函数的极值是它的极大值与极小值，函数取极小值(极大值)的点称为极小值(极大值)点，有几种不同类型的极小值点(极大值点)，即局部或全局，弱或强。

$\textbf{定义1：}$对点$\textbf{x}^*\in R$，其中$R$是可行域，如果存在$\epsilon>0$使得如果

$$\textbf{x}\in R,\Vert\textbf{x}-\textbf{x}^*\Vert<\epsilon$$

则

$$f(\textbf{x})\geq f(\textbf{x}^*)$$

，那么称该点为弱局部极小值点。

$\textbf{定义2：}$如果对所有$\textbf{x}\in R,f(\textbf{x})\geq f(\textbf{x}^*)$，那么称点$\textbf{x}^*\in R$为$f(\textbf{x})$的弱全局极小值点。

如果点$\textbf{x}^*$满足定义2，那么自然满足定义1，所以全局极小值点也是局部极小值点。

$\textbf{定义3：}$如果定义1或定义2中的大于等于改成大于

$$f(\textbf{x})>f(\textbf{x}^*)$$

，那么称$\textbf{x}^*$为强局部(或全局)极小值点。

$E^2$中的强全局极小如图1所示。

弱或强与局部或全局极大值点通过反转一下上面的符号即可。

$\textbf{例1：}$图2中函数的可行域定义为集合

$$R=\{x:x_1\leq x\leq x_2\}$$

，求出最小值点。

$\textbf{解：}$函数在点$B$有弱局部极小值，在$A,C,D$有强局部极小值，在$C$有强全局极小值。

图1

对于一般的最优化问题，我们原则上是找$f(\textbf{x})$的全局极小值。实践中，优化问题可能有两个或更多的局部极小值，因为优化算法一般都是从解的估计值开始，不断迭代，最后会收敛到一个值，那么其他的局部极小就会错过。如果错过了全局极小，那么我们得到的是次最优解，当然也可能得不到。这个问题通过多运行几次优化算法且从不同的初始值开始，可能会找出几个不同的局部极小，如果该方法成功，那我们找出里面最小的值作为最佳极小值点，虽然从实际角度可以接受这样的街，但是无法保证达到全局极小值，因此处于简便，一般优化问题中的最小化$f(\textbf{x})$解释为找$f(\textbf{x})$的局部极小值。

对于某些特殊问题，也就是$f(\textbf{x}),R$满足一些凸的性质，$f(\textbf{x})$的任何局部极小也是$f(\textbf{x})$的全局极小。对这类问题可以保证最优解。

图2