支持向量机是比较经典的二类分类机器学习算法,和上一篇写的感知机存在一些关系,简单来说,SVM和感知机的最大不同就是学习策略的不同。SVM按照数据集的分布特点分为三种,即线性可分支持向量机、线性支持向量机和非线性支持向量机。
(一)线性可分SVM
首先,来看第一种线性可分支持向量机。它的特点是训练数据集是线性可分的,同感知机一样,也是需要在特征空间中找到划分正负样本的超平面,不同的是,感知机得到的分离超平面存在无穷多个,而SVM只存在一个最优分离超平面,主要原因是SVM采用间隔最大化的学习策略。为了说明这一点,我们先介绍下函数间隔和几何间隔的概念。
函数间隔
几何间隔
函数间隔和几何间隔的关系