学习目的:应对博士申请考核中《最优化理论与算法》的考试。
学习材料:《运筹学》第4版 清华大学出版社&《最优化理论与算法》第2版 清华大学出版社&《线性代数》国立交通大学出版社
主要内容:
一、无约束非线性规划问题
二、等式约束非线性规划问题
三、不等式约束非线性规划问题
四、12个例子
一、无约束非线性规划问题
1.1 函数存在极值的一阶/二阶必要条件
a) 一阶必要条件:函数在点可微,若是局部极小点,则梯度
b) 二阶必要条件:函数在点二次可微,若是局部极小点,则梯度,并且Hesse矩阵半正定。
1.2 备注
a) “可微”、“Hesse矩阵 ”、“半正定”这三个概念在无约束非线性规划问题中的判断较为重要,可直接点击链接进行学习,在此不在赘述。
b) 对应后续例题1。
二、等式约束非线性规划问题
2.1 学习目的
为学习不等式约束非线性规划问题做铺垫。
2.2 等式约束
假设,约束优化问题(1)型为
这里f 与g 都是连续可导的函数,定义Lagrangian函数型为:
其中为Lagrange 乘数。上述Lagrangian函数将问题(1)中的约束条件吸收至目标函数中,将有约束的优化问题转化为无约束优化问题,即形如:
对于上式的最优解的必要条件是:
联立上述方程(第一个方程是Lagrange函数的定常方程),可得以及的值,求得最优解。
三、KKT条件——求解不等式约束优化问题
3.1 不等式约束问题
假设,约束问题(2)形如:
划定了上述目标函数的可行域(feasible region) ,当最优解位于可行域的位置意味着约束条件的有效性,将的位置情况分为两类:
1、内部解:最优解位于可行域内部,称为内部解(interior solution),这时约束条件是无效的(inactive);
2、边界解:最优解位于可行域边界,称为边界解(boundary solution),此时约束条件是有效的(active)。
因此,两种情况的必要条件也是不同。对应上述两种情况,可分别转化为两种结果:
1、最优解位于可行域内部时,约束条件无效,因此约束优化问题退化为无约束优化问题,易于求解;
2、最优解位于可行域边界时,约束条件由不等式变为等式可转化为上述Lagrange 乘数法的情形。
3.2 KKT条件的形式
整合上述两种情况,最优解的必要条件是:1)Lagrangian函数的定常方程 2)原始约束条件 3)对偶可行性 4)互补松弛性(之后的学习中会详细介绍对偶可行性和互补松弛性),形如:
四、 12个例子
备注: 例子来源于 《最优化理论与算法》第2版 清华大学出版社。
1、求函数的极小点。
解:
(1)求驻点 (2)求Hesse矩阵 (3)判断矩阵性质(正定/半正定) |
求解过程:
,
令上述两个式子等于0,求得驻点
对分别对和求二阶偏导有: 得到Hesse矩阵后,将上述两个驻点代入Hesse矩阵有:
由上,是负定矩阵,是正定矩阵。 因此,的极小点是 |
2、考虑非线性规划问题
检验,是否为KT点。
解:
(1)改写非线性规划形式 (2)求目标函数和约束条件的梯度(3)判断是否满足Fritz-John条件 |
求解过程: 上述约束问题可改写为:
将代入上述约束条件,发现正好在前两个约束条件的边界上,因此前两个约束是起作用约束。
分别对目标函数和前两个约束条件求一阶偏导,再代入得:
在点目标函数的梯度为,两个约束条件的梯度分别是 和 。
(未完,csdn的编辑器太难用了) |