机器学习算法之SVM（二）概述

前面的初识部分我们说了，在划分的时候要求margin最大化

           

       

如下图，红线用W*X=0表示，则红线左上方的区域可以用W*X>0表示，右下方的区域可以用W*X<0表示

同理，红线左侧的虚线用W*X=-k表示，右侧的虚线用W*X=k表示，区域划分如下图

如下图，X1和X2分别是红线左右两侧虚线上的点，

利用向量（X1-X2）在W上的投影就可以算出Margin，接下来我们就是在Y*(W*X) ≥k 的条件下求margin的最大值

高等数学里面我们学过拉格朗日乘数法，求一个函数在其它约束条件下的极值，后面的数学推导可以参见http://web.mit.edu/6.034/wwwbob/svm-notes-long-08.pdf

其中，||w||叫做向量w的范数

更多参考：https://course.ccs.neu.edu/cs5100f11/resources/jakkula.pdf

http://www.cs.columbia.edu/~kathy/cs4701/documents/jason_svm_tutorial.pdf