支持向量机简单总结下来就是找到一条直线能正确分类,并且类别之间的间隔最大化,先看下如何计算间隔:
点到直线的距离公式(参考网址):
最大化间隔即:
所以支持向量机等价于求解先得式子:
上式很明显是一个凸二次规划问题,使用拉格朗日乘子法可得:
其中拉格朗日乘子,
,
,可得:
所以原问题等价于求:
对偶问题:
任取一组固定的:
(最大值肯定大于等于任选的值)
(最大值的最小值肯定大于等于最小值的最大值)
四、软间隔与正则化
上面讨论的求间隔最大化称为硬间隔,硬间隔容易受到噪声影响,发生过拟合,泛化能力差。缓解该问题的一个办法是允许支持向量机在一些样本上出错,因此引入软间隔:
即允许某些样本不满足:
常用的替代损失函数:
若采用hinge损失:
拉格朗日乘子法可得:
五、支持向量回归:
SVR问题为最大化间隔即最小化的同时最小化损失,有:
拉格朗日乘子法有:
依次求导得:
代入6.46得:
KKT条件为:
参考网址:
https://blog.csdn.net/on2way/article/details/47729419
https://wenku.baidu.com/view/54e3e30952ea551811a68700.html?from=search
https://wenku.baidu.com/view/66b885bfaef8941ea66e0501.html?from=search
https://wenku.baidu.com/view/fc8118728e9951e79b8927f3.html?from=search