SVM vs Softmax

前两天看到

《CNN Features off-the-shelf: an Astounding Baseline for Recognition》

里面用了

 

 这种网络在各种任务下证明了cnn提取到的特征是更有效的,我就想到最后分类层用的svm和softmax到底哪个更好一些(基础问题了,但我不懂)

于是找到了这

CS231n Convolutional Neural Networks for Visual Recognition

 具体来说 hinge loss,也就是svm会把正负样本的预估值拉开一定的差距后就不再优化了,loss=0

但是softmax永远不会满足,loss虽然越来越小,但会始终存在的。

课程里也提到对loss加入正则项的动机:分类器的作用是把正确和错误的差距拉大,比如现在是0.1,那么w简单的扩大10倍,也能做到把差距从0.1变到1的效果。为了在同一个量级训练出不同性能的分类器,以避免这种模棱两可的情况发生,就加入了正则化

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值