SVM支持向量机
参数解释:其中i表示第i个输入,s = f(w,xi)表示网络对第i个输入预测值。sj表示第j类预测分数,yi表示对正确的类预测分数,delta是一个超参,有交叉集确定。
意义:该表达式是求当前权重对输入xi的损失,目标是最小化损失函数。
svm的一个重要特征就是预测真确的类syi比其他类sj(j是除了yi的其他所有类)大上一个delta。若当前正确类得分比其他类sj都大上一个delta,则损失为0,否则,将sj-sy+delta计算损失。
举例:
若s=【-13, 5, 20】,yi = 3(表示第三类为正确类),若设delta=10,可得Li = max(0, -13 - 20 + 10)+ max(0, 5 - 20 + 10) = 0。这表明当前权重对输入xi表现很好,所以损失为0。
思考1:
实际上,若使用svm,则关于w的选择并不唯一。若已存在w,使得Li=0,则对于任意α>1,可知αw也是满足的(因为sj和syi同时被扩大)。我们知道,对于w的每一行j,都对应着第j类的一个模板。我们希望syi更大,而sj(j属于其他类)则不变。实现这一特性则是添加正则项。