cs231n学习笔记-lecture3（Loss Functions and Optimization）

前言

最近开始学习cs231n的课程，想从基础上再梳理一下视觉相关的知识点，课程中有些概念的解释还是非常巧妙的，将自己有些领悟的地方记录下来，方面以后回顾。

Loss Functions

SVM Loss

对于一个线性模型，计算出来的值就是某张图片对于每个类别的分数。

如上图的计算一样，假设我们现在有了一组W，如何判断这个W的表现如何呢？

因此引入了loss函数，用这个loss函数计算出来的值来评估这组W计算出来的结果与我们期待的结果之间的差距。我们期待的情况当然是这张图片真实label位置计算出来的score要大于其他位置的score，如果符合这个要求，loss就为0，否则就会有loss值产生以表示跟我们期待的情况有差距。

给定样本，从1到N，N是总共样本个数，我们会对每一个样本求loss，然后汇总得到总共的loss

按照上面提到的思路，我们希望图片真实label的score要高于其他位置score，这里为了提高robustness，我们增加一个margin值，让真实label是score大于其他位置score+margin，假定margin为1，那么loss可以如下表示，叫做SVM loss

表示正确label的得分，