支持向量机(SVM)总结

一.线性可分支持向量机

1.定义:给定线性可分的训练集,求解出能够正确划分训练集并且几何间隔最大的分离超平面wx+b=0,对应的决策函数为f(x)=sign(wx+b)
2.函数间隔:
这里写图片描述
3.几何间隔:
这里写图片描述

二.目标函数的推出

这里写图片描述

三.推导过程求解:

这里写图片描述

四.软间隔与正则化:

为了防止过拟合,对每个样本点引入一个松弛变量,此时为软间隔最大化问题,推导过程如下:
这里写图片描述

五.非线性支持向量机与核函数:

为什么引入核函数:
这里写图片描述
这里写图片描述
常见核函数:
这里写图片描述

核函数的判定:
这里写图片描述

六.SMO算法(最大序列化优先)

这里写图片描述
基本思想:
1.如果所有变量的解都满足此最优化问题的KKT条件,那么这个最优化问题就得到了。
2.每步选择两个变量,固定其他变量,针对这两个变量构建二次规划问题。
3.选择变量的思想:
SMO称选择第一个变量的过程为外层循环,在训练样本在选取违背KKT条件最严重的样本点,将其对应的变量作为第一个变量;第2个变量的选择成为内层循环,选择标准是希望能使第一个变量相对第一个有足够大的变化。
直到所有的变量满足KKT条件为止;

七.SVM用于多分类:

此问题可推广为一般的二分类用于多分类,最经典的方法有三种:

  1. 一对一:
    这里写图片描述

2.一对多:
这里写图片描述
分类器的置信程度,选择最大的作为结果。

这里写图片描述

三.多对多:见机器学习周志华

阅读更多
上一篇机器学习逻辑回归总结
下一篇分类任务算法的性能度量
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭