人工智能_机器学习065_SVM支持向量机KKT条件_深度理解KKT条件下的损失函数求解过程_公式详细推导---人工智能工作笔记0105

之前我们已经说了KKT条件,其实就是用来解决

如何实现对,不等式条件下的,目标函数的求解问题,之前我们说的拉格朗日乘数法,是用来对

等式条件下的目标函数进行求解.

KKT条件是这样做的,添加了一个阿尔法平方对吧,这个阿尔法平方肯定是大于0的,那么

可以结合下面的文章去看,也就是说,如果我们要求:

函数在比如h(x)<=0的条件下的解,那么我们就可以添加一个阿尔法的平方,让这个阿尔法平方 = h(x) 就可以了对吧,也就是说h(x)<=0 那么-h(x)=阿尔法的平方对吧.

这样就把不等式条件转换成了,等式条件,然后就可以使用拉格朗日乘数法进行求解了.

可以看到,这里:

minL(x,lamda,阿尔法) = f(x) +lamada(h(x)+阿尔法平方) 这里lamada>=0

这里的L我们要知道是损失函数对吧,我们就要求损失函数最小值.