在约束最优化问题中,常常利用有条件的拉格朗日乘子法,进而一步步推导KKT条件。
1.最优化条件和下降搜索
给定一个多变量可微函数 ,是的局部最小值,这时有
如果,就存在使得
(对这边做个解释:因为是局部最小值,因此其周围的值都是大于它的,就相当于这个位置是一个低谷,当,就说明其梯度,说明其梯度可以大于0,可以小于0;这样我们随意假设一种情况当其梯度大于0,这样,显然可得上述等式在成立,当梯度小于0也容易证得其成立)
针对以下问题的梯度下降法(迭代方案):
2.条件最佳优化
KKT条件
如果是约束优化问题的局部最优解,则存在和,从而满足KKT条件:
这里先介绍一个性质,该性质对于得到KTT是比较有用的性质:
对于任意的非零矩阵y以及,总存在要么有
要么有
但两者不同时成立!
证明上述性质:
假设1)成立,证明2)是不正确的;利用反正法,但1)成立2)也成立
因此有由于1)成立,
这就产生了矛盾,同理可得当2)成立1)不成立!