支持向量机预测matlab代码_Support Vector Machine(支持向量机详细解析)

支持向量机：寻找最佳分隔的超平面（上图的Decision Hyperplane）。在当前空间中寻找的最佳分隔超平面不理想，可以通过映射函数将数据从原空间映射到高维空间去寻找，但这样运算量增加很多，为减少运算量，引入“Kernel Trick”；理想状态寻找的超平面是可以将两类数据完全分开的，即不存在错分的训练样本，实际中考虑“更实用”的分隔或者训练样本在空间本身不可完全分隔，引入“软间隔”实现寻找的超平面允许有错分的训练样本；最后求解超平面，可以使用二次规划直接求解，但是运算量太大，为减少运算量，使用拉格朗日对偶将问题转化，最终使用SMO算法快速求解。

1. 最佳分隔

如上左图，样本中有两类点，分别是篮色o和黄色+；有很多条“线”可以将这两类点分开，但最佳的分隔只有一条如右上图，实现了最大间隔Margin；右上图中的最佳分隔wx+b=0其实是一个超平面（w是一个向量），支持向量机就是求解构成该超平面的w和b，其中离wx+b=0这个超平面最近的点代表的向量称为支持向量，即|wx+b|=1这两个超平面上所有的点代表的向量；

取两个平行的超平面L+和L-使得这两个超平面之间没有训练样本点，但每个超平面上至少有一个训练样本点；则L+和L-两个超平面中间的超平面L；超平面L写为ax-c=0；则L-和L+可分别写为ax-c=-d和ax-c=d，且d>0；

在超平面L+：即wx+b=1上的一个点，对应的向量为X1；在超平面L-：即wx+b=-1上的一个点，对应的向量为X2；定义向量X3=X1-X2，如上图所示，X3在向量W方向上的投影即上图中的Margin；

现实分隔的间距最大，需要最大化Margin，即最小化||W||即可，且满足L+和L-两个超平面间没有样本点，L-超平面左下的样本点即蓝色O点加标值y=-1；L+超平面右上的样本点黄色+点加标值y=1；则对于每一个点的y(wx+b)的值应该大于等于1；则求分隔的间隔最大问题等价于求解以下问题（即在满足s.t. 限制条件的情况下，求解w和b）：

以上问题可以使用两种方式求解：凸二次规划和拉格朗日对偶；SVM选择了后者，即通过拉格朗日对偶将问题转化，这将便于使用核函数（Kernel Trick），以提高运算效率；

2. 凸二次规划求解

凸二次规划求解形式如下，即如果需要求解的问题可以写成以下形式，则可带入求解器直接求解（python：cvxopt求解器）：

对于1.中求解问题，凸二次规划求解式中各符号需带入量如下：

按照以上等式带入凸二次规划求解器后，可直接解得w和b的值，即求得超平面；

3. 拉格朗日对偶

3.1 拉格朗日

拉格朗日求解形式如下，即如果需要求解的问题可以写成以下形式，则可用拉格朗日对偶进行求解；

然后定义广义拉格朗日如下（其中α和β称为拉格朗日乘子）：