《最优化理论与算法》最优化条件部分学习感悟

最优化学到了最优化条件部分，由于自己的数学功底实在是太差，啃得很慢。今天下午终于对“约束极值问题的最优性条件”部分有了相对宏观的视角，所以记录下来以备后用。
 

【必要条件】：如果已经知道了是最优解，那么它一定满足的条件。最优化中通常都是：”若x是局部最优解…”，这样说的都是必要条件。

【充分条件】：找一些条件，满足这些条件之后，此解就是最优的。最优化中通常都是先研究局部最小值的必要条件，之后加一个凸函数特性，将局部小必要条件转化为全局小充分条件。

一般约束问题之所以一般，是因为同时引入了g（m个不等式约束）和h（l个等式约束）两种约束。需要注意要对x进行约束不等式考察，只有起作用的不等式下标才会被归入I（起作用约束下标集），所以以下分析中所有的g都是通过I索引得到的。

 

接下来依次按照教材顺序进行阐述：

 

1.正则点：若g和h的梯度线性无关，则x是g和h的正则点。

最关键的还是线性无关。

 

       2.构建H子空间：x是正则点，x的切平面=H，H是方向d集和，这些d和h的梯度点积为0，夹角为90度。

 

       3.一般约束问题局部最优解必要条件（集和表示式）：如果x是局部最优解，那么F、G、H相交为空集。三个集和分别是：f的下降方向、起作用约束的可行方向锥、等式约束切平面。

 

       4.一般约束问题局部最优解必要条件（Fritz John梯度合成式）：不需要管h梯度是否线性相关。如果x是局部最优解，则可以对f、g、h进行全加权梯度合成。

       这个FJ必要条件有可能出现f梯度系数为0的情况，需要进行更严格约束。

 

       5.一般约束问题局部最优解必要条件（K-T必要条件）：必须要求g梯度和h梯度线性无关。如果x是局部最优解，则可以对f、g、h进行f归一化梯度合成。（归一化指的是f梯度的系数为1）

       K-T条件还可以写为带有互补松弛条件的等价形式（三行式）：f归一化梯度合成、不等式约束加权和为0、不等式约束系数非负。

 

       6.Lagrange函数定义：直接由K-T条件得来，是广义化的提炼。定义了f归一化函数合成式L(x,w,v)。如果x是局部最优解，则存在w非负，v使得L梯度为0（f归一化梯度合成）。

 

       7.凸规化最优解的充分条件：首先要求f是凸函数，g是凹函数，h是线性函数。如果x满足K-T必要条件（可以进行f归一化梯度合成），则x是全局最优解。