转载:解密KKT条件
补充:
1、
这里当在X2处因为g1(x),g2(x)与X2相交,所以这两个函数取值为0,然后看他们与X2相交的交点,沿着他们的负梯度方向继续找,因为现在的值是0,想要得到小于0的值,应该沿着负梯度。这里的负梯度,拿g1(x)为例,看他与X2交点,做切线,沿切线反方向找,即负梯度
(这里蓝色箭头是梯度方向,可能在x2处不太明显,但是看x3处与g3(x)g2(x)交点,即橙色箭头,还有x4*处交点,他们的负梯度方向很明显,即紫色箭头)
“至于这个时候需不需要管g3(x)呢?正常来说管不管都可以,如果管了,也取g3在x2处的梯度的话,因为g3已经满足了小于0的条件,这个时候在取在x2处的梯度,你能保证它是往好的变了还是往差的变了?答案是都有可能。运气好,往好的变了,可以更快得到结果,运气不好,往差的变了,反而适得其反。”这里意思就是说,现在g3(x)已经满足条件了,如果还沿着他的负梯度方向找,得到的结果不一定会对最后结果产生好影响,但是如果对g1(x),g2(x)进行优化,结果一定比现在好。