本文深入探讨支持向量机（SVM）中的拉格朗日对偶性，通过KKT条件解释原问题与对偶问题的等价性，并介绍如何在面对线性不可分或噪声数据时引入软间隔，以增加模型的鲁棒性。通过对原问题进行转换，得出对偶问题的解决方案，同时阐述了软间隔的损失函数和超参数C的作用。
上一篇写到讲硬间隔的SVM转化为凸二次规划问题，也就是QP问题，之后可以是用现成的软件求解QP问题。但是如果样本数量大和维度比较高，会导致问题求解困难或不可解，因此引入了拉格朗日乘子来脱掉原问题的约束条件，然后根据原问题和对偶问题是强对偶关系，二者完全等价，因此转换为它得对偶问题后求导求最小值，最后引入KTT条件求解。
拉格朗日对偶
首先对问题引入拉格朗日函数，如下：
原问题就等价于：
原问题是一个凸二次规划问题，和它的对偶问题满足强对偶关系，即原问题等价于对偶问题，因此我们转化为它的对偶问题继续求解：
最低0.47元/天 解锁文章
扫一扫
662
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
