本文深入介绍了KKT条件和拉格朗日乘数法在机器学习，特别是支持向量机（SVM）中的应用。通过解析约束优化问题，阐述了KKT条件如何处理等式和不等式约束，并解释了拉格朗日乘数法在等式约束优化问题中的作用。文章指出，在SVM中，KKT条件确保了支持向量的重要性，而拉格朗日乘数法则帮助将有约束问题转化为无约束问题，为寻找目标函数的最小值提供了路径。最后，文章强调了强对偶性和凸优化问题在SVM中的关键角色。
KKT条件
当我们要求一个函数的极值，同时还有两种类型的约束条件，一种约束条件是等式约束，另外一种约束是不等式约束：
x是一个变量（n维，n个样本），我们想要找到使得f(x)最大的x，还要满足上面的约束。此时KKT条件就出来说话了，如果要想让x满足这个条件下的f(x)的最大值（极值点），那么需要满足KKT条件，条件如下：
我们来解释一下这个KKT条件，在极值点处f的梯度是一系列的不等式gi(x*)和等式hj(x*)的线性组合，其中不等式的约束ui≥0，而等式的λi不做约束，gi(x*)有＜0，和=0两种情况，但是如何＜0，那么μi一定是0（其实此时对应的xi就是非支持向量），也就是说只有gi(x*)=0的时候，此时ui才不是0（此时对应的xi就是支持向量），换句话说，只有x*在边界gi(x*)=0的时候，此时的gi才会出现在加权式中，接下来我们可以看到，也就是说支持向量才会起作用。
订阅专栏 解锁全文
1796
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
