损失函数

损失函数(loss function) = 误差部分(loss term) + 正则化部分(regularization term)

1. 误差部分

1.1 gold term,0-1损失函数,记录分类错误的次数

1.2 Hinge loss, 折叶损失,关于0的阀值

定义:E(z)=max(0,1-z)

应用: SVM中的最大化间隔分类,max-margin loss最大边界损失

举例: SVM的损失函数想要SVM在正确分类上的得分始终比不正确分类上的得分高出一个边界值delta.

比如第i个样本数据为xi和其正确类别标签yi, 通过公式f(xi,W)来计算属于不同类别的分数, 针对第j个类别的得分为, 针对第i个样本数据的多类SVM的损失函数为:

SVM的损失函数想要正确分类类别yi的分数比不正确类别分数高.且至少要高delta.若不满足这个要求,便计算损失值.

平方折叶损失SVM(L2-SVM),使用的误差部分为,这个误差部分将更强烈地惩罚过界的边界值.

1.3 Log loss

定义: