1. 拉格朗日方法
像这种条件极值与拉格朗日乘数法的题,是我考研数学中,比较喜欢做的一类题。因为它不用怎么费脑子。直接将原式写前面,之后把约束项与相乘就行。之后分别对每个变量求导,等于0。就是不好解方程组,但是式子很好列。
由此可以看出,我们可以将一个带有约束项的原问题,通过拉格朗日的方法,转化成一个不带约束项的问题。
2. 对偶问题
原始问题: 极小极大问题
对偶问题: 极大极小问题
原始问题是先绑定住x,去优化出最佳的和,之后再去找x。对偶问题与之相反。
3. KKT 条件
KKT条件就是为了想让对偶问题的解等价于原始问题的解,所设立的一些约束。
如果没有KKT条件的约束,实际上,对偶问题的解是<=原始问题的解。
PS: 对偶问题的最优值是原问题的下界,当两者完全一致时,称为强对偶。
C.21 - C.23的由来:
原始问题是由拉格朗日方法转化而来不带约束项的式子:
(原始问题)
(拉格朗日转化后的式子)
因为我们最终的目标是想要 对偶函数的解=原始问题的解。
对偶问题的解是原始问题的下界。我们这时就可以把这个问题看成求极值的问题。去求下界的极值点不就是对偶函数的解了吗。所以要先求导,令其导数为0。
C.24的由来:
(1)
(2)
因为我们最后想求p* 。在(1)中,我们先看这部分。我们想让
最大。 约束条件告诉我们,
同时拉格朗日乘子>=0,所以
f(x)为其前半部分的最优解。那么剩余两项应该等于0。所以
C.24 称为KKT的对偶互补条件。
剩下的C.25,C.26,C.27都是已知的约束项。