合页损失函数
线性支持向量机还有另外一种解释,就是最小化以下目标函数(svm的损失函数):
目标函数第一项为经验损失或经验风险,函数:
称为合页损失函数,下标
“
+
”
“+”
“+”表示取正值。
在学习支持向量机的过程中,因为其损失函数的形状像一个合页,故命名合页损失函数。
下图为合页损失函数的图像:
横轴表示函数间隔,我们从两个方面来理解函数间隔:
-
正负
当样本被正确分类时, y ( w x + b ) > 0 y(wx+b)>0 y(wx+b)>0;当样本被错误分类时, y ( w x + b ) < 0 y(wx+b)<0 y(wx+b)<0。
-
大小
y ( w x + b ) y(wx+b) y(wx+b)的绝对值代表样本距离决策边界的远近程度。 y ( w x + b ) y(wx+b) y(wx+b)的绝对值越大,表示样本距离决策边界越远。
因此,我们可以知道:
-
当 y ( w x + b ) > 0 y(wx+b)>0 y(wx+b)>0时, y ( w x + b ) y(wx+b) y(wx+b)的绝对值越大表示决策边界对样本的区分度越好
-
当 y ( w x + b ) < 0 y(wx+b)<0 y(wx+b)<0时, y ( w x + b ) y(wx+b) y(wx+b)的绝对值越大表示决策边界对样本的区分度越差
从图中我们可以看到,
-
0-1损失
当样本被正确分类时,损失为0;当样本被错误分类时,损失为1。
-
感知机损失函数
当样本被正确分类时,损失为0;当样本被错误分类时,损失为 − y ( w x + b ) -y(wx+b) −y(wx+b)。
-
合页损失函数
当样本被正确分类且函数间隔大于1时,合页损失才是0,否则损失是 1 − y ( w x + b ) 1-y(wx+b) 1−y(wx+b)。
相比之下,合页损失函数不仅要正确分类,而且确信度足够高时损失才是0。也就是说,合页损失函数对学习有更高的要求。
SVM的损失函数
SVM的损失函数就是合页损失函数加上正则化项: