Loss function（Cost Function）SVM softmax pytorch函数解析

SVM and Softmax

当评分函数输出结果与真实结果之间差异越大，损失函数输出越大，反之越小。

SVM Loss function

hinge loss

（折叶损失）

假设有3个分类，并且得到了分值s=[13,-7,11]。其中第一个类别是正确类别，即yi=0。同时假设是10。

=0+8=8

L2-SVM（平方折叶损失SVM）

我们对于预测训练集数据分类标签的情况总有一些不满意的，而损失函数就能将这些不满意的程度量化。

• 多类SVM“想要”正确类别的分类分数比其他不正确分类类别的分数要高，而且至少高出delta的边界值。

• 如果其他分类分数进入了红色的区域，甚至更高，那么就开始计算损失。如果没有这些情况，损失值为0。

• 目标是找到一些权重，它们既能够让训练集中的数据样例满足这