前面的初识部分我们说了,在划分的时候要求margin最大化
如下图,红线用W*X=0表示,则红线左上方的区域可以用W*X>0表示,右下方的区域可以用W*X<0表示
同理,红线左侧的虚线用W*X=-k表示,右侧的虚线用W*X=k表示,区域划分如下图
如下图,X1和X2分别是红线左右两侧虚线上的点,
利用向量(X1-X2)在W上的投影就可以算出Margin,接下来我们就是在Y*(W*X) ≥k 的条件下求margin的最大值
高等数学里面我们学过拉格朗日乘数法,求一个函数在其它约束条件下的极值,后面的数学推导可以参见http://web.mit.edu/6.034/wwwbob/svm-notes-long-08.pdf
其中,||w||叫做向量w的范数
更多参考:https://course.ccs.neu.edu/cs5100f11/resources/jakkula.pdf
http://www.cs.columbia.edu/~kathy/cs4701/documents/jason_svm_tutorial.pdf