无约束问题的最优条件
全部笔记的汇总贴:最优化学习目录
无约束问题的最优条件
考虑无约束优化问题:
min
f
(
x
)
s.t.
x
∈
X
⊆
R
n
\begin{aligned} \min & f(x) \\ \text { s.t. } & x \in X \subseteq R^{n} \end{aligned}
min s.t. f(x)x∈X⊆Rn
- 若f(x)为凸函数 则 x ∗ x^* x∗是最优解 ⇔ \Leftrightarrow ⇔ ∇ f ( x ∗ ) = 0 ∘ \nabla f\left(x^{*}\right)=0_{\circ} ∇f(x∗)=0∘
- 若f(x)为一般函数
- 一阶必要条件(First-Order Necessary Conditions)
假设 f ( x ) f(x) f(x)在 x ∗ x^* x∗处是可微的,如果 x ∗ x^* x∗是局部最小值,那么 ∇ f ( x ∗ ) = 0 \nabla f\left(x^{*}\right)=0 ∇f(x∗)=0 - 二阶必要条件(Second-Order Necessary Conditions)
假设 f ( x ) f(x) f(x)在 x ∗ x^* x∗处是二阶可微的,如果 x ∗ x^* x∗是局部最小值,那么 ∇ f ( x ∗ ) = 0 \nabla f\left(x^{*}\right)=0 ∇f(x∗)=0和 ∇ 2 f ( x ∗ ) \nabla^{2} f\left(\mathbf{x}^{*}\right) ∇2f(x∗)是半正定矩阵 - 二阶充分条件(Second-Order Sufficient Conditions)
假设 f ( x ) f(x) f(x)在 x ∗ x^* x∗处是二阶可微的,如果 x ∗ x^* x∗是局部最小值,那么 ∇ f ( x ∗ ) = 0 \nabla f\left(x^{*}\right)=0 ∇f(x∗)=0和 ∇ 2 f ( x ∗ ) \nabla^{2} f\left(\mathbf{x}^{*}\right) ∇2f(x∗)是正定矩阵
- 一阶必要条件(First-Order Necessary Conditions)
回顾泰勒定理(Taylor’s Theorem)
为了证明,我们回顾一下泰勒定理
如果f在R上连续可微,则
f
(
x
+
p
)
=
f
(
x
)
+
∇
f
(
x
+
t
p
)
⊤
p
f(x+p)=f(x)+\nabla f(x+t p)^{\top} p
f(x+p)=f(x)+∇f(x+tp)⊤p
t
∈
(
0
,
1
)
t \in(0,1)
t∈(0,1)
如果f在R上二次连续可微,则可以得到
f
(
x
+
p
)
=
f
(
x
)
+
∇
f
(
x
)
⊤
p
+
1
2
p
⊤
∇
2
f
(
x
+
t
p
)
p
f(x+p)=f(x)+\nabla f(x)^{\top} p+\frac{1}{2} p^{\top} \nabla^{2} f(x+t p) p
f(x+p)=f(x)+∇f(x)⊤p+21p⊤∇2f(x+tp)p
具体推导如下
一阶必要条件(First-Order Necessary Conditions)
假设 f ( x ) f(x) f(x)在 x ∗ x^* x∗处是可微的,如果 x ∗ x^* x∗是局部最小值,那么 ∇ f ( x ∗ ) = 0 \nabla f\left(x^{*}\right)=0 ∇f(x∗)=0
p
r
o
o
f
proof
proof如下:
二阶必要条件(Second-Order Necessary Conditions)
假设 f ( x ) f(x) f(x)在 x ∗ x^* x∗处是二阶可微的,如果 x ∗ x^* x∗是局部最小值,那么 ∇ f ( x ∗ ) = 0 \nabla f\left(x^{*}\right)=0 ∇f(x∗)=0和 ∇ 2 f ( x ∗ ) \nabla^{2} f\left(\mathbf{x}^{*}\right) ∇2f(x∗)是半正定矩阵
p
r
o
o
f
proof
proof如下:
二阶充分条件(Second-Order Sufficient Conditions)
假设 f ( x ) f(x) f(x)在 x ∗ x^* x∗处是二阶可微的,如果 x ∗ x^* x∗是局部最小值,那么 ∇ f ( x ∗ ) = 0 \nabla f\left(x^{*}\right)=0 ∇f(x∗)=0和 ∇ 2 f ( x ∗ ) \nabla^{2} f\left(\mathbf{x}^{*}\right) ∇2f(x∗)是正定矩阵
p
r
o
o
f
proof
proof如下:
参考
- Nocedal, Jorge, & Wright, Stephen J. (0). Numerical optimization. 2nd ed… Springer.