损失函数
上一次讲到,如果我们有一个权重矩阵W,我们就可以得到各个类的分数,我们如何定义这个分数的好坏呢?
我们可能觉得,只要真实分类的分数比其他都高就是好的。比如下图中的第一列,猫的得分比青蛙的得分高,但比车的得分少,这就不太好;第二列中车的得分比其他两个类的得分都高,这就很好;第三列中青蛙的得分比其他两个都小,所以很不好。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/26c34438ae6c01cc4cb0e41c3d6438e7.png)
我们想要定义一个函数来自动计算得分的好坏(即损失函数)。通用的损失函数定义如下:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/6f61efa61007472fba7994dd7a325679.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/00f5fc28089dbce59cbec47f45e4e9fd.png)
多分类svm损失函数
我们可以定义一个多分类的SVM损失函数如下:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/34418b424ab5aa937f7d633ae270fc87.png)
其中yi是真实分类,sy_i是真实分类的得分,比如第一列的猫的得分是3.2。sj是其他分类的得分&#x