[机器学习]支持向量机及其应用---手写识别系统（SMO算法）

本博文将介绍支持向量机的一些理论并使用WEKA来得到一个分类器。在介绍支持向量机之前，先介绍感知机的一些知识。

感知机

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例类别。感知机对应于输入空间中的实例划分为正负两类的分离超平面，属于判别模型。感知机的描述如下：

给定一个训练数据集
　　　　　　　　$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$
其中$x_i$是输入空间，$y_i$是类别。求参数$w,b$,使得损失函数极小化问题的求解
　　　　　　 minw,bL(w,b)=−∑