CS231N 笔记2_损失函数和优化器

多类SVM损失函数，又称hinge loss：
这个函数可以认为是计算得分比正确分类的得分还要大的，以及差不多的。至于数字1，只是一个约定俗成的数字，其本身并不具有特殊意义，其数字的大小会随着W的变化而改变。


SVM loss和softmax的对数似然损失函数的对比：
SVM对边界上及内部（得分大于正确项）的数字敏感，对边界外的数字不作用；而Softmax的对数似然综合考虑所有的得分。
至于哪个比较好，得分情况。如课件中的（10,-100,-100），则SVM较好；如（10，8，8），则应该细细考虑了。


为什么训练网络时需要依据迭代次数减小lr学习率？
因为当lr（学习率）过大，会使loss提高；lr较大，loss无法收敛；loss较小，loss收敛慢。故一般用较大的lr开始训练，在迭代一定次数之后，缩小lr以达到收敛。
另外，较大的lr可以避免一些局部最小点。