6-2 最优化问题简介

6-2 最优化问题简介

1.无约束与约束化

\qquad 设$f$为定义在${\mathbb{R}}^n$上的实值函数最优化的数学模型如下$$\underset{x\in D\subset {\mathbb{R}}^n}{\min }f(x).\text{\hspace{1em}(1)}$$
若(1)中$x\in {\mathbb{R}}^n$则称为无约束问题；约束问题的形式为$$\{\begin{array}{ll}minf(x),& \\ s.t.g_i(x)\ge 0,& i=1,...,n\\ s.t.h_j(x)\ge 0,& j=1,...,m\end{array}.$$

2.局部最优与全局最优

1. 局部最优： 设$x^{\ast }\in D$,若存在$x^{\ast }$的一个邻域$U(x^{\ast })$使得如下不等式成立$$f(x^{\ast })\le f(x),\forall x\in D\cap U(x^{\ast })$$则称$x^{\ast }$为（1）的局部最优解。
2. 全局最优解： 若$x^{\ast }$是问题(1)的最优解且满足对 ∀ x ∈ D \ { x ∗ } \forall x\in D\backslash\{x^*\} ∀x∈D\{x∗}有$$f(x^{\ast })<f(x)$$成立，则称$x^{\ast }$为（1）的全局最优解。

3.无约束问题解条件

1. 下降方向：以抛物线为例，一条开口向上的抛物线的最小值在对称轴处（谷底），若想找到最小值，当给定一个$x$后我们期望$f(x+d)<f(x)$,这样$x+d$更接近对称轴点，称这样的$d$为函数$f$在点$x$处的下降方向。
2. 设$f$连续可微且$\nabla f\ne 0$,则
   (1). 若向量$d$满足$\nabla f(x{)}^{T}d<0$ ,则它是$f$在$x$点处的下降方向。
   (2). 若矩阵$H\in {\mathbb{R}}^{n\times n}$对称正定，则向量$d=-H\nabla f(x)$是$f$在$x$点处的一个下降方向。特别的，向量$d=-\nabla f(x)$是$f在x$点处的一个下降方向.
3. (一阶必要条件)设$f:{\mathbb{R}}^n\to \mathbb{R}$连续可微，$x^{\ast }$是无约束条件(1)的局部最优解，则$x^{\ast }$满足$$\nabla f(x^{\ast })=0.$$
4. (二阶必要条件)设$f:{\mathbb{R}}^n\to \mathbb{R}$二次连续可微，$x^{\ast }$是无约束条件(1)的局部最优解，则$x^{\ast }$满足$$\nabla f(x^{\ast })=0.$$且${\nabla }^{2}f(x^{\ast })$半正定。
5. (二阶充分条件)设$f:{\mathbb{R}}^n\to \mathbb{R}$二次连续可微，若$x^{\ast }$满足，则$x^{\ast }$满足$\nabla f(x^{\ast })=0$且${\nabla }^{2}f(x^{\ast })$正定，则$x^{\ast }$是无约束条件(1)的严格局部最优解。
6. （充要条件）设$f:{\mathbb{R}}^n\to \mathbb{R}$是连续可微的凸函数，则$f$的局部最小值点也是全局最小值点。而且若$x^{\ast }$是无约束条件(1)的最优解的充要条件为：$x^{\ast }$满足$$\nabla f(x^{\ast })=0.$$