2019/6/2CS231n课程笔记(损失函数和优化)

损失函数

线性分类器，weight表示对应每一类的权重。

什么是损失函数，把W作为一个输入，输入到一个函数中，将得分值作为衡量W好坏的标准。

多类别SVM分类器

看笔记本23页有相关笔记。

1、如果我们稍微改变一点车这个分类的score值，我们的损失函数会有什么变化吗？

答：不会变化，svm分类器在乎的是正确的比不正确的大1，汽车分数比其他的都要大，1的界限不会被破坏。

2、loss的最大最小值是多少？

答：最小是0，最大是无穷

3、初始化W刚开始训练的时候，分数的结果在开始时将会是较小的均匀分布的值近乎为0，使用svm损失函数预计会是什么样的呢？

答：分类的数量减一，若是对所有不正确的分类遍历一遍，实际上遍历了c-1个类别，对于每一个类别因为两个值差的不多我们就得到一个值为1的损失项。

4、如果对所有的类别进行求和包括争取分类的类别，会怎么样呢？

答：损失函数的值会增加1。这个问题的意思是：去掉限制条件j≠yi时，总的loss值有什么变化？？？与之前求的loss比，多了当j=yi时的max（0，Sj-Syi+1）,这时Sj-Syi为0，求max得1，将这一项加到总的loss值，所以导致