支持向量机（SVM）知识点总结

支持向量机（SVM）知识点总结

什么是支持向量机：svm是一种二分类模型，它的基本思想是在特征空间中寻找一个间隔最大化的超平面来进行完成数据的分类，分为三种情况

• 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机。
• 当训练样本近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机。
• 当训练样本线性不可分时，通过核函数以及软间隔最大化，学习一个非线性支持向量机。

svm为什么采用间隔最大化：当训练数据线性可分时，存在无数个超平面可以将两类数据正确分开。感知机利用误分类最小策略，可以求得无穷个解将超平面进行分离，线性可分支持向量机利用间隔最大化的求得分离超平面，此时的解为唯一解；另外，此时分类超平面所产生的的分类结果是最棒的，泛化性能最强。

svm为什么引入对偶问题：

• 对偶问题将原始问题中的约束转为了对偶问题的等式约束，我们将目标函数和约束条件融入了一个新的函数，即拉格朗日函数，通过这个函数来寻找最优点。

• 可以很自然的引用核函数，从而推广至非线性分类问题。拉格朗日函数里面有内积，而核函数也是通过内积来进行映射的。

• 改变的问题的复杂度，由求特征向量