[3]Loss Functions and Optimization—损失函数和优化

回顾上节课

损失函数

svm

如果正确类别的分数高于错误类别的分数，则我们称之为0损失

计算案例

代表我们的分类器在这个数据集上的损失是5.27

问题1：为何损失函数选择了加1

答:实际上我们并不关心分数的绝对值。在这个函数中，我们只关注分数之间的相对差异，我们只关注正确类别的分数要远大于错误的类别的分数，所以事实上如果你把你整个W放大或缩小，那么它会相应的重新调整所有的分数。就像W中标度的整体设置

问题：

答：比如有两个W,一个是W1（1，0，0，0），一个是W2（0.25,0.25,0.25,0.25）L1更喜欢W1,L2更喜欢W2,

Softmax Classifier

回答：SVM损失唯一关心的是使正确分数大于错误分数的余量，Softmax损失实际上总是希望将概率质量一直驱动到1，所以即使你给正确的class打了很高的分数，给不正确的class打了很低的分数,softmax会让你在正确的类上堆积越来越多的概率质量，并将正确类的分数推向无穷大，错误类下降到负无穷大。在实际中，这两种损失函数效果基本一样

优化Optimization

在现实中W不会只有10个class，有可能是几千上万个，所以不能用有限差分来计算，太慢了

stepsize称为学习率或者步长，是经常检查的第一个超参数，诸如模型大小或则正则化强度之类的事情会留到稍后，获得正确的stepsize往往是第一步

红色是我们想要的低损失区域，而靠近边缘的蓝色和绿色区域是我们想要避免的更高损耗。我们从空间中某个随机点开始我们的W，然后我们将计算负导数（梯度，斜率）方向，这有望最终将我们指向最小值的方向，如果我们一遍又一遍的重复这一点并向这点移动，我们最终到达确切的最小值

图像特征

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8rpsyBsn-1625210360868)(C:\Users\27750\AppData\Roaming\Typora\typora-user-images\image-20210702110349639.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ThFJcz3t-1625210360869)(C:\Users\27750\AppData\Roaming\Typora\typora-user-images\image-20210702110538256.png)]