6-2 最优化问题简介
1.无约束与约束化
\qquad
设
f
f
f为定义在
R
n
\mathbb R^n
Rn上的实值函数最优化的数学模型如下
min
x
∈
D
⊂
R
n
f
(
x
)
.
(1)
\min_{x\in D\subset \mathbb R^n}f(x)\tag1.
x∈D⊂Rnminf(x).(1)
若(1)中
x
∈
R
n
x\in\mathbb R^n
x∈Rn则称为无约束问题;约束问题的形式为
{
m
i
n
f
(
x
)
,
s
.
t
.
g
i
(
x
)
≥
0
,
i
=
1
,
.
.
.
,
n
s
.
t
.
h
j
(
x
)
≥
0
,
j
=
1
,
.
.
.
,
m
.
\begin{cases} min f(x), \\s.t. g_i(x)\geq 0, & i=1,...,n\\ s.t. h_j(x)\geq 0, & j=1,...,m\end{cases}.
⎩⎪⎨⎪⎧minf(x),s.t.gi(x)≥0,s.t.hj(x)≥0,i=1,...,nj=1,...,m.
2.局部最优与全局最优
- 局部最优: 设 x ∗ ∈ D x^*\in D x∗∈D,若存在 x ∗ x^* x∗的一个邻域 U ( x ∗ ) U(x^*) U(x∗)使得如下不等式成立 f ( x ∗ ) ≤ f ( x ) , ∀ x ∈ D ∩ U ( x ∗ ) f(x^*)\leq f(x),\quad\forall x\in D\cap U(x^*) f(x∗)≤f(x),∀x∈D∩U(x∗)则称 x ∗ x^* x∗为(1)的局部最优解。
- 全局最优解: 若 x ∗ x^* x∗是问题(1)的最优解且满足对 ∀ x ∈ D \ { x ∗ } \forall x\in D\backslash\{x^*\} ∀x∈D\{x∗}有 f ( x ∗ ) < f ( x ) f(x^*)<f(x) f(x∗)<f(x)成立,则称 x ∗ x^* x∗为(1)的全局最优解。
3.无约束问题解条件
- 下降方向:以抛物线为例,一条开口向上的抛物线的最小值在对称轴处(谷底),若想找到最小值,当给定一个 x x x后我们期望 f ( x + d ) < f ( x ) f(x+d)<f(x) f(x+d)<f(x),这样 x + d x+d x+d更接近对称轴点,称这样的 d d d为函数 f f f在点 x x x处的下降方向。
- 设
f
f
f连续可微且
∇
f
≠
0
\nabla f\neq 0
∇f=0,则
(1). 若向量 d d d满足 ∇ f ( x ) T d < 0 \nabla f(x)^Td<0 ∇f(x)Td<0 ,则它是 f f f在 x x x点处的下降方向。
(2). 若矩阵 H ∈ R n × n H\in\mathbb R^{n\times n} H∈Rn×n对称正定,则向量 d = − H ∇ f ( x ) d=-H\nabla f(x) d=−H∇f(x)是 f f f在 x x x点处的一个下降方向。特别的,向量 d = − ∇ f ( x ) d=-\nabla f(x) d=−∇f(x)是 f 在 x f在x f在x点处的一个下降方向. - (一阶必要条件)设 f : R n → R f:\mathbb R^n\to \mathbb R f:Rn→R连续可微, x ∗ x^* x∗是无约束条件(1)的局部最优解,则 x ∗ x^* x∗满足 ∇ f ( x ∗ ) = 0. \nabla f(x^*)=0. ∇f(x∗)=0.
- (二阶必要条件)设 f : R n → R f:\mathbb R^n\to \mathbb R f:Rn→R二次连续可微, x ∗ x^* x∗是无约束条件(1)的局部最优解,则 x ∗ x^* x∗满足 ∇ f ( x ∗ ) = 0. \nabla f(x^*)=0. ∇f(x∗)=0.且 ∇ 2 f ( x ∗ ) \nabla^2f(x^*) ∇2f(x∗)半正定。
- (二阶充分条件)设 f : R n → R f:\mathbb R^n\to \mathbb R f:Rn→R二次连续可微,若 x ∗ x^* x∗满足,则 x ∗ x^* x∗满足 ∇ f ( x ∗ ) = 0 \nabla f(x^*)=0 ∇f(x∗)=0且 ∇ 2 f ( x ∗ ) \nabla^2f(x^*) ∇2f(x∗)正定,则 x ∗ x^* x∗是无约束条件(1)的严格局部最优解。
- (充要条件)设 f : R n → R f:\mathbb R^n\to \mathbb R f:Rn→R是连续可微的凸函数,则 f f f的局部最小值点也是全局最小值点。而且若 x ∗ x^* x∗是无约束条件(1)的最优解的充要条件为: x ∗ x^* x∗满足 ∇ f ( x ∗ ) = 0. \nabla f(x^*)=0. ∇f(x∗)=0.