svm多分类python代码_SVM算法的理解及其Python实现多分类和二分类

原理

SVM被提出于1964年，在二十世纪90年代后得到快速发展并衍生出一系列改进和扩展算法，在人像识别、文本分类等模式识别(pattern recognition)问题中有得到应用。

支持向量机(Support Vector Machine, SVM)是一类按监督学习(supervised learning) 方式对数据进行二元分类的广义线性分类器(generalized linear classifier)，其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)

SVM可以通过核方法(kernel method)进行非线性分类，是常见的核学习(kernel learning)方法之一。

分类理论

在分类问题中给定输入数据和学习目标：X = { X1, X2,…Xn }，Y = { y1,y2,…yn}。其中输入数据的每个样本都包含多个特征并由此构成特征空间(feature space)：Xi = { x1,x2…xn} ，而学习目标为二元变量y { − 1 , 1 } y\{-1,1\}y{−1,1}表示负类(negative class)和正类(positive class)。

若输入数据所在的特征空间存在作为决策边界(decision boundary)的超平面将学习目标按正类和负类分开，并使任意样本的点到平面距离大于等于1,则称该分类问题具有线性可分性，参数 w，b分别为超平面的法向量和截距。