一、最优化问题解的存在性
考虑优化问题（5.1.1）：
min x ∈ R n f ( x ) s . t . x ∈ X ( 5.1.1 ) \min\limits_{x\in\mathbb{R}^n}\quad f(x)\\s.t.\quad x\in\mathcal{X}\quad\quad(5.1.1) x∈Rnminf(x)s.t.x∈X(5.1.1)
其中 x ∈ X x\in\mathcal{X} x∈X为可行域，对于问题（5.1.1），首先要考虑的是最优解的存在性，然后考虑如何求出其最优解。数学分析中Weierstrass定理说明，定义在紧集上的连续函数一定存在最大（最小）值点。而在许多实际问题中，定义域可能不是紧的，目标函数也不一定连续，因此需要将此定理推广来保证最优化问题解的存在性。
定理5.1
考虑一个适当且闭的函数 f : X → ( − ∞ , + ∞ ] f:\mathcal{X}\to(-\infty,+\infty] f:X→(−∞,+∞]，假设下面三个条件中任意一个成立：
二、无约束可微问题的最优性理论
无约束可微优化问题通常表示为如下形式：
min x ∈ R n f ( x ) ( 5.2.1 ) \min\limits_{x\in\mathbb{R}^n}f(x)\quad(5.2.1) x∈Rnminf(x)(5.2.1)
其中假设 f f f是连续可微函数，我们通过一个相对简单的方式来验证一个点是否为极小值点，称为最优性条件，它主要包含一阶最优性条件和二阶最优性条件。
2.1 一阶最优性条件
一阶最优性条件是利用梯度（一阶）信息来判断给定点的最优性。这里先考虑目标函数可微的情形，并给出下降方向的定义。
定义5.2（下降方向）
对于可微函数 f f f和点 x ∈ R n x\in\mathbb{R}^n x∈Rn，如果存在向量 f f f满足：
∇ f ( x ) T d < 0 \nabla f(x)^Td<0 ∇f(x)Td<0
那么称 d d d为 f f f在点 x x x处的一个下降方向。
由下降方向的定义，容易验证：如果 f f f在点 x x x处存在一个下降方向 d d d，那么对于任意的 T > 0 T>0 T>0，存在 t ∈ ( 0 , T ] t\in(0,T] t∈(0,T]，使得：
f ( x + t d ) < f ( x ) f(x+td)<f(x) f(x+td)<f(x)
因此，在局部最优点处不能有下降方向。我们有如下一阶必要条件：
定理5.3（一阶必要条件）
假设 f f f在全空间 R n \mathbb{R}^n Rn可微。如果 x ∗ x^* x∗是一个局部极小点，那么：
∇ f ( x ∗ ) = 0 \nabla f(x^*)=0 ∇f(x∗)=0
注意，上面的条件仅仅是必要的。实际上，我们称满足 ∇ f ( x ) = 0 \nabla f(x)=0 ∇f(x)=0的点 x x x为 f f f的稳定点（有时也称为驻点或临界点）。
2.2 二阶最优性条件
在没有额外假设时，如果一阶必要条件满足，我们仍然不能确定当前点是否是一个局部极小点。这里考虑使用二阶信息来进一步判断给定点的最优性。
假设 f f f在点 x x x的一个开邻域内是二阶连续可微的．类似于一阶必要条件的推导，可以借助当前点处的二阶泰勒展开来逼近该函数在该点附近的取值情况，从而来判断最优性．具体地，在点 x x x附近我们考虑泰勒展开：
f ( x + d ) = f ( x ) + ∇ f ( x ) T d + 1 2 d T ∇ 2 f ( x ) d + o ( ∥ d ∥ 2 ) f(x+d)=f(x)+\nabla f(x)^Td+\frac{1}{2}d^T\nabla^2f(x)d+o(\Vert d\Vert^2) f(x+d)=f(x)+∇f(x)Td+21dT∇2f(x)d+o(∥d∥2)
当一阶必要条件满足时， ∇ f ( x ) = 0 \nabla f(x)=0 ∇f(x)=0，那么上面的展开式简化为：
f ( x + d ) = f ( x ) + 1 2 d T ∇ 2 f ( x ) d + o ( ∥ d ∥ 2 ) ( 5.2.2 ) f(x+d)=f(x)+\frac{1}{2}d^T\nabla^2f(x)d+o(\Vert d\Vert^2)\quad\quad(5.2.2) f(x+d)=f(x)+21dT∇2f(x)d+o(∥d∥2)(5.2.2)
因此，我们有如下二阶最优性条件：
定理5.4
假设 f f f在点 x ∗ x^* x∗的一个开邻域内是二阶连续可微的，则以下最优性条件成立：
二阶必要条件： 如果 x ∗ x^* x∗是 f f f的一个局部极小点，那么：
∇ f ( x ∗ ) = 0 , ∇ 2 f ( x ∗ ) ⪰ 0 \nabla f(x^*)=0,\quad\nabla^2f(x^*)\succeq0 ∇f(x∗)=0,∇2f(x∗)⪰0
二阶充分条件： 如果在点 x ∗ x^* x∗处有：
∇ f ( x ∗ ) = 0 , ∇ 2 f ( x ∗ ) ≻ 0 \nabla f(x^*)=0,\quad\nabla^2f(x^*)\succ0 ∇f(x∗)=0,∇2f(x∗)≻0
成立，那么 x ∗ x^* x∗为 f f f的一个局部极小点。
由定理5.4有如下结论：设点 a ˉ \bar{a} aˉ满足一阶最优性条件（即 ∇ f ( x ˉ ) = 0 ) \nabla f(\bar{x})=0) ∇f(xˉ)=0)，且该点处的海瑟矩阵 ∇ 2 f ( x ˉ ) \nabla^2f(\bar{x}) ∇2f(xˉ)不是半正定的，那么 x ˉ \bar{x} xˉ不是一个局部极小点。进一步地，如果海瑟矩阵 ∇ 2 f ( x ˉ ) \nabla^2f(\bar{x}) ∇2f(xˉ)既有正特征值又有负特征值，我们称稳定点 x ˉ \bar{x} xˉ为一个鞍点。事实上，记 d 1 , d 2 d_1,d_2 d1,d2为其正负特征值对应的特征向量，那么对于任意充分小的 t > 0 t>0 t>0，我们都有 f ( x ˉ + t d 1 ) > f ( x ˉ ) f(\bar{x}+td_1)>f(\bar{x}) f(xˉ+td1)>f(xˉ)且 f ( x + t d 2 ) < f ( x ˉ ) f(x+td_2)<f(\bar{x}) f(x+td2)<f(xˉ)。
注意，二阶最优性条件给出的仍然是关于局部最优性的判断。对于给定点的全局最优性判断，我们还需要借助实际问题的性质，比如目标函数是凸的、非线性最小二乘问题中目标函数值为0等。
2548
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
