一、什么是支持向量机
支持向量机(support vector machines, SVM)是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机(建议先学感知机,感知机是支持向量机的基础。);支持向量机还包括核技巧,这使它成为实质上的非线性分类器。学习支持向量机的求解算法,需要了解一点最优化的知识(拉格朗日乘子法,KKT条件)。 一般来说,对于线性可分的数据,感知机算法求得的分离超平面不是唯一的,而支持向量机就是要找一个最优的超平面。
二、支持向量机的原理是什么
支持向量机既可以解决线性问题又可以解决非线性问题,既可以用于分类,又可以用于回归的经典算法。它的基本模型是在特征空间中寻找间隔最大化的分离超平面,使距离最近的样本点到该超平面的距离尽可能的远。(间隔最大使它有别于感知机)
1.当训练样本线性可分时,通过硬间隔最大化,学习一个线性分类器,即Hard-Margin SVM;
2.当训练数据近似线性可分时,引入松弛变量,通过软间隔最大化,学习一个线性分类器,即Soft-Margin SVM;
3.当训练数据线性不可分时,通过使用核技巧及软间隔最大化,学习非线性支持向量机。
三、支持向量机算法的优缺点
(一)SVM算法的优点
1.解决高维特征的分类回归问题很有效,在特征维度大于样本数时依然有很好的效果;