SVM

SVM支持向量机

参数解释：其中i表示第i个输入，s = f（w，xi）表示网络对第i个输入预测值。sj表示第j类预测分数，yi表示对正确的类预测分数，delta是一个超参，有交叉集确定。
意义：该表达式是求当前权重对输入xi的损失，目标是最小化损失函数。
svm的一个重要特征就是预测真确的类syi比其他类sj（j是除了yi的其他所有类）大上一个delta。若当前正确类得分比其他类sj都大上一个delta，则损失为0，否则，将sj-sy+delta计算损失。
举例：
若s=【-13， 5， 20】，yi = 3（表示第三类为正确类），若设delta=10，可得Li = max（0， -13 - 20 + 10）+ max（0， 5 - 20 + 10） = 0。这表明当前权重对输入xi表现很好，所以损失为0。

思考1：

实际上，若使用svm，则关于w的选择并不唯一。若已存在w，使得Li=0，则对于任意α>1，可知αw也是满足的（因为sj和syi同时被扩大）。我们知道，对于w的每一行j，都对应着第j类的一个模板。我们希望syi更大，而sj（j属于其他类）则不变。实现这一特性则是添加正则项。