双层优化问题

介绍

1）层次性
优化时是分层管理的形式，下层优化服从上层优化，但下层优化有相对的自主权。
2）独立性
各层决策者各自控制一部分决策变量，以优化各自的目标。
3）冲突性
各层决策者有目标函数各不相同，且这些目标往往是相互矛盾的。
4）优先性
上层决策者优先做出决策，下层决策者在选择策略时，不能改变上层的决策。
5）自主性
上层的决策可能影响下层的行为，因而部分地影响下层目标的实现，但上层不能完全控制下层的选择行为，在上层决策允许范围内,下层有自主决策权。
 按照上下层优化的形式不同又可以分为线性双层优化以及非线性双层优化问题。当双层优化问题中所有目标函数和约束条件均为线性时，即为线性双层优化，否则就是非线性双层优化问题

基本原理与求解方法参考如下

双层优化入门(1)—基本原理与求解方法(附matlab代码)
双层优化入门(2)—基于yalmip的双层优化求解(附matlab代码)

拉格朗日乘数法

 拉格朗日乘数法（以数学家Joseph-Louis Lagrange命名）是一种寻找多元函数在其变量受到一个或多个条件的约束时的极值的方法。
 例如：要求$f(x,y),在g(x,y)=c$时的最大值，引入拉格朗日乘数$\lambda$，这时我们只需要下列拉格朗日函数的极值：
$$\iota (x,y,\lambda )=f(x,y)+\lambda (g(x,y)-\lambda )$$
拉格朗日乘数法所得的极点会包含原问题的所有极值点，但并不保证每个极值点都是原问题的极值点

KKT条件

最优化问题分类

• 无约束优化问题：直接求导、最速下降法、共轭梯度法、牛顿法等
• 等式约束优化问题：拉格朗日(Lagrange)乘数法
• 不等式约束优化问题：KKT条件

使f(X)取最小值时的最优X*，进一步，如果将其值X带入约束g(X)
若g(X)<0，约束不起作用，该问题转化为无约束优化问题求解；
若g(X*)=0，引入拉格朗日乘子λ，采用拉格朗日乘数法求解嘛

若g(X*)>0，此时的X*不满足约束，应舍弃，由回到上述情形

总结如下：
（1）若g(X*)=0，引入拉格朗日乘子λ，并要求λ≥0；
（2）若g(X*)<0，要求λ=0。
采用λg(X*)=0的形式统一

式(1)：对拉格朗日函数求梯度(若X一维就是求导)，其中，下三角表示梯度；
式(2)：核心公式，要么λ=0，要么g(X*)=0（此处要求两者不能同时为0）；
式(3)：拉格朗日乘子λ必须是正的（下一部分的图示法有证明）；
式(4)：原问题自己的约束。

参考内容

KKT条件，原来如此简单 | 理论+算例实践