数值优化概述

1、问题和术语

我们就是求这样的一个问题：
$$\begin{gathered} \underset{x\in {\mathbb{R}}^n}{\min }f(x) \\ st{C}_i(x)=0,i\in \mathbb{E} \\ {C}_i(x)\ge 0,i\in \mathbb{I} \end{gathered}$$其中$x\in {\mathbb{R}}^n$为变量，$f(x)\in \mathbb{R}为目标函数，$$C_i(x),i\in \mathbb{E}$为等式约束，$C_i(x),i\in \mathbb{I}$    ~~   为不等式约束。 我们把   ~   Ω = { x : C i ( x ) = 0 , i ∈ E , C i ( x ) ≥ 0 , i ∈ I } \varOmega = \left\{x:C_i(x)=0,i\in\mathbb{E},C_i(x)\ge0,i\in\mathbb{I}\right\} Ω={x:Ci​(x)=0,i∈E,Ci​(x)≥0,i∈I}为可行域，我们一般$x^{\ast }$为上述问题的最优解。

2、优化问题的一些重要的分类

(1)、无约束优化和约束优化
         ~~~~~~~~         其中约束优化又分为等式约束优化和不等式约束优化
(2)、线性优化(也被称为线性规划)，即是目标函数和约束函数都是线性函数
(3)、二次规划：目标函数是二次函数，约束函数是线性函数
(4)、凸规划：目标函数是凸函数，约束函数也是凸函数

3、局部和整体的性质

(1)、局部最优解和全局最有界
如果存在$\delta >0$，使得对所有满足$x\in {\mathbb{R}}^n$和$\Vert x-x^{\ast }\Vert <\delta$的点$x$，有$f(x)\ge f(x^{\ast })$,则称$x^{\ast }$为$f$的局部极小值点。如果对所有的$x\in {\mathbb{R}}^n,且x\ne x^{\ast }$，都有$f(x)\ge f(x^{\ast })$,则称$x^{\ast }$为$f$的全局极小值点。

(2)、局部严格最优解和全局严格最优解
如果存在$\delta >0$，使得对所有满足$x\in {\mathbb{R}}^n$和$\Vert x-x^{\ast }\Vert <\delta$的点$x$，有$f(x)>f(x^{\ast })$,则称$x^{\ast }$为$f$的局部极小值点。如果对所有的$x\in {\mathbb{R}}^n,且x\ne x^{\ast }$，都有$f(x)>f(x^{\ast })$,则称$x^{\ast }$为$f$的全局极小值点。

(3)、局部收敛性和全局收敛性
如果只有当初始点$x_0$充分接近极小值点$x^{\ast }$时，由算法产生的点列 { x k } \left\{x_k\right\} {xk​}才能收敛于极小值点$x^{\ast }$，则该算法称为局部收敛性。如果对于任意初始点$x_0$，由算法产生产生的点列都收敛于极小值点$x^{\ast }$,则该算法称为具有整体收敛性。

注：(1)、我们上述的范数一般选取的是欧式范数
        ~~~~~~~        (2)、整体极小值点一定是局部极小值点，而局部极小值点不一定是整体极小值点
        ~~~~~~~        (3)、在一般情况下，求整体极小值点是非常困难的，因此通常只是求局部极小值点，我们后面所求的极小值点都是局部极小值点
        ~~~~~~~        (4)、对于算法的整体收敛性和局部收敛性，我们总是倾向于选择那些是具有整体收敛性的算法，这是评价算法好坏的一个重要方面。