cs231n笔记（3）—误差函数

一.

损失函数有时也叫代价函数或者误差函数。

个人理解就是将样本图片输入网络后会得到一个得分，

再将得分输入损失函数会得到一个损失，

损失越低便认为识别效果越好，反之效果越差。

后面会根据损失反向求导训练权值W，直到损失趋于0，或不再下降为止。

二.

1.多类SVM损失（支持向量机）：

SVM损失计算了所有不正确的例子，将所有不正确的类别的评分，与正确类别的评分之差加1(可以不是1，一般取一)，将得到的数值与0作比较，取两者中的最大值。然后将所有的数值进行求和。用平均值来代替不会影响结果。

Sj为错误类别得分，Yj为正确类别得分。

当正确时，Sj较低，Syj较高，想减完得分较低或者为负数。

与0比较求最大时，取0或者很低的得分。这样损失值便会很低，说明分类比较成功。

当错误时，正好相反。

2.Softmax分类器：

也就是一般化的逻辑斯蒂回归，他是在这些分数的基础上表明损失的一种不同的函数形式，这种解释就是说他是在这些分数基础上实现的，这些分数不是随机的，也不是表明某种边界。从一个问题出发，我们有特定的解读方式，这种方式有一定的规则，这些分数是对应不同类未经标准化的对数概率。

与SVM不同，softmax是将得分转化为概论，即样本图片是每个类得概率。得分高得概论高，得分低的概率低

三.比较

可以看出 SVM损失函数是所有项之和而Softmax则是将损失转化为各项的概论。