二元SVM
SVM是一种有监督学习方法,因为它可以最大化几何边缘,所以又被称为最大间隔分类器
目标函数
损失函数
即:当真实的label 为1时, 损失函数变为
此时的函数图像如下
此时,只要目标函数 时损失就为0。
当真实的label 为-1时,损失函数为
此时的函数图像如下
此时,只要目标函数 时,损失就为0。
为什么SVM是最大间隔分类器
根据SVM的损失函数,我们需要计算(为方便计算,这里将偏置项b省略),为了使损失最小,需要根据不同的label值,尽可能使得 或者。
而在线性代数中,我们可以将 转换成另外一种形式。举例来说,假设我们有向量,
则它们的内积,其中p为A在W上的投影,当p与w方向相同时为正数,否则为负数,为向量W的长度。
所以, 我们要让其大于1或小于-1,由于损失函数中有加入w的长度作为正则项,我们需要减小 ,增大 。假设,,为方便计算,省略偏置项b,则,我们画出SVM的超平面(注意横纵坐标),如图
由于,所以W和超平面垂直,由图可以看出,每个点在参数向量W的投影p都等于该点到超平面的距离,而我们正需要增大p,所以SVM可以最大化数据与分类超平面的间隔。
参考文献:http://blog.csdn.net/han_xiaoyang/article/details/52679559