3 损失函数和优化

为了描述之前建立的线性分类器的分类效果，我们引入的损失函数，顾名思义，损失函数越大误差也就越大。

在下图的任务中，将测试图片猫、车和青蛙输入网络，输出了一系列的数值，如下表。

很显然我们希望图片对应的分类数值越高越好，例如猫的图片对应cat，但是数值只有3.2，还不如对应的car的数值，所以该线性分类器会将猫这张图片分类为car。

下面引入svm loss函数：

其中Sj和Syi分别对应错误分类的值和正确分类的值，猫这张图片的loss为：

max（0，5.1-3.2+1）+max(0,-1.7-3.2+1) = 2.9

同理计算出其他两个图片的loss值。