目的:寻找一个超平面,使得两个类别中离决策边界最近的那些点到决策边界的距离越远越好。即,SVM寻找一条最优的决策边界,使得距离两个类别最近的样本点的距离最远。
本质:
支撑向量机的本质就是最大化margin,margin定义的就是两个类对应的支撑向量所决定的两根直线之间的距离
假设样本点到决策边界的距离为d,通过上式可以得到两类样本的数据点到到决策边界的距离都是大于等于d的,即如下图所示。
将上式左右两边除以d得下式,w是一个向量,b是一个数,w的绝对值和d都是一个数,所以通过整理就可以得到下式
我们可以再将上式整理成
从下面开始所有的W和b都是上面的Wd和bd
对于决策边界上面的那条直线把支持向量带进去所得到的结果为1,对于决策边界下面的那条直线把支持向量带进去所得到的结果为-1.所以把支持向量和其类别带入上面的式子所到的结果都为1.
所以对于任意的支持向量X有:
所以我们要最大化W的模分之一,也就是最小化W的模。
所以最后我们需要优化的目标函数为: