【cs231n】lecture 3损失函数和优化

3.1 损失函数

损失函数的概念理解：

在线性分类中，W的每一行对应一个分类模板，它给出图片所属类别的可能的得分，得分越高说明该图片中的物体属于这一类别的可能性越大，因此我们需要选择一个分类效果最优的W，W来自于数据集的训练。
损失函数就是用来度量某个W好坏的，输入为W，得到一个得分，定量地估计W的好坏，这个函数即为损失函数。

数学公式表示：

上图中第一个公式为给定的数据集，$x_i$表示一张输入的图片，对于计算机而言，就是像素点的一个向量，$y_i$表示图片所对应的类别，即label。第二个公式中，$f(x_i,W)$计算不同分类类别的分值。$L_i(f(x_i,W),y_i)$表示第i个图片的损失函数，L是整体的一个损失函数，这个函数是所有图片损失函数的一个平均值。

多分类SVM（Support Vector Machine）

课件上给出的SVM损失函数的公式如下:

下面给出SVM损失函数的一般定义：
这里，我们将分值简写为$s$，即针对第j个类别的得分为$s_{}$