SVM vs Softmax

于 2022-09-01 15:00:52 发布
阅读量786 收藏 1
点赞数 1
文章标签： 机器学习 深度学习 python
原文链接：https://cs231n.github.io/linear-classify/
版权

前两天看到

《CNN Features off-the-shelf: an Astounding Baseline for Recognition》

里面用了

 

 这种网络在各种任务下证明了cnn提取到的特征是更有效的，我就想到最后分类层用的svm和softmax到底哪个更好一些（基础问题了，但我不懂）

于是找到了这

CS231n Convolutional Neural Networks for Visual Recognition

 具体来说 hinge loss，也就是svm会把正负样本的预估值拉开一定的差距后就不再优化了，loss=0

但是softmax永远不会满足，loss虽然越来越小，但会始终存在的。

课程里也提到对loss加入正则项的动机：分类器的作用是把正确和错误的差距拉大，比如现在是0.1，那么w简单的扩大10倍，也能做到把差距从0.1变到1的效果。为了在同一个量级训练出不同性能的分类器，以避免这种模棱两可的情况发生，就加入了正则化

Blue_Whale2020
关注
深度学习与计算机视觉系列：线性支持向量机（SVM）与SoftMax分类器
QvisCs的博客
09-17 245
线性支持向量机是一种二分类模型，它的目标是找到一个超平面，将不同类别的样本分开。在训练过程中，线性SVM通过最大化间隔的方式寻找最优超平面，使得不同类别的样本点离超平面的距离最大化。以上代码示例分别演示了如何使用Scikit-learn库实现线性支持向量机和TensorFlow库实现SoftMax分类器。在深度学习和计算机视觉领域，线性支持向量机（Linear Support Vector Machine，简称线性SVM）和SoftMax分类器是两种常用的分类模型。
线性分类器（SVM，softmax）
iwill323的博客
09-15 1270
CS231n代码 SVM， softmax, 线性分类器
【深度学习技术】Softmax和SVM的区别与比较
谢军的博客
04-24 1万+
本博客记录Softmax 和SVM分类器的学习过程，欢迎学习交流。目前解决图像分类问题，比较流行的方法是卷积神经网络上。这种方法主要有两部分组成：一个是评分函数（score function），它是原始图像数据到类别分值的映射。另一个是损失函数（loss function），它是用来量化预测分类标签的得分与真实标签之间一致性的。该方法可转化为一个最优化问题，在最优化过程中，将通过更新评分函数的参数来
Softmax 与 SVM
qq_34544132的博客
04-07 846
Softmax 与 SVM Softmax线性分类器的损失函数计算相对概率，又称交叉熵损失「Cross Entropy Loss」。线性 SVM 分类器和 Softmax 线性分类器的主要区别在于损失函数不同。SVM 使用 hinge loss，更关注分类正确样本和错误样本之间的距离「Δ = 1」，只要距离大于 Δ，就不在乎到底距离相差多少，忽略细节。而 Softmax 中每个类别的得分函数都会影...
【深度学习与计算机视觉】2、线性 SVM 与 Softmax 分类器
呆呆的猫的博客
08-03 2950
2、线性SVM与Softmax分类器 2.1 得分函数（score function） 2.1.1 线性分类器 2.1.2 理解线性分类器 2.2 损失函数 2.2.1 多类别支持向量机损失（Multiclass SVM loss） 2.2.2 正则化 2.3 实际中的考虑点 2.3.1 设定Delta 2.3.2 关于二元（Binary）支持向量机 2.3.3 关于非线性SVM ...
SVM相关知识及和softmax区别
weixin_33845477的博客
10-09 253
1.相对于容易过度拟合训练样本的人工神经网络，支持向量机对于未见过的测试样本具有更好的推广能力。 2.SVM更偏好解释数据的简单模型---二维空间中的直线，三维空间中的平面和更高维空间中的超平面。 3.SVM正是从线性可分情况下的最优分类面发展而来，主要思想就是寻找能够成功分开两类样本并且有最大分类间隔的最优分类超平面。算法最终转化为二次型寻优问题，得到的是全局最优，解决了在神经网络方法中无法...
svm_softmax_sgd.py
最新发布
10-12
svm_softmax_sgd.py
通过SVM和Softmax求损失值
cccqx的博客
09-12 331
超参数和交叉验证 将训练集标号为1、2、3、4、5，每次都在这五个中选取一个作为验证集，能够有效防止某一数据集和训练集恰好。。 训练集 验证集 1、2、3、4 5 1、5、3、4 2 1、2、5、4 3 1、2、3、5 4 5、2、3、4 1 损失函数 图片属于哪个类别的得分值已经算出 cat损失值=max(0,2.1-3.2+1)+max(0,-1.7-3....
深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器
热门推荐
寒小阳
11-23 6万+
这个部分我们介绍一类新的分类器方法，而对其的改进和启发也能帮助我们自然而然地过渡到深度学习中的卷积神经网。有两个重要的概念： 得分函数/score function：将原始数据映射到每个类的打分的函数 损失函数/loss function：用于量化模型预测结果和实际结果之间吻合度的函数 在我们得到损失函数之后，我们就将问题转化成为一个最优化的问题，目标是得到让我们的损失函数取值最小的一组参数。
【cs231n】线性分类模型：SVM，Softmax
zhiwei2coder的博客
03-29 252
http://cs231n.github.io/linear-classify/ 简介 对图像分类问题，我们将介绍一种比KNN更加有效的方法（KNN每次预测都需要让预测样本和所有训练样本比较，耗费资源）。这种方法有两个非常重要的部分：评分函数（Score Function） 和损失函数（Loss Function）。前者可以将输入数据 x 映射为类别分值（score class）（类别分值...
SVM和Softmax分类器比较
麦地与诗人
06-02 7188
####参考： 作者：啊噗不是阿婆主 来源：CSDN 原文：https://blog.csdn.net/weixin_38278334/article/details/83002748 1. SVM和Softmax分类器是最常用的两个分类器，Softmax的损失函数与SVM的损失函数不同。对于学习过二元逻辑回归分类器的读者来说，Softmax分类器就可以理解为逻辑回归分类器面对多个分类的一般化归纳...
SVM和SoftMax的原理区别对比
gaotihong的博客
12-25 343
http://blog.csdn.net/u011534057/article/details/51451958 出处：http://blog.csdn.net/han_xiaoyang/article/details/49999583 声明：版权所有，转载请注明出处，谢谢。 1. 线性分类器 在深度学习与计算机视觉系列(2)我们提到了图像识别的问题，同时提出了
4、线性分类: SVM, Softmax
青星大学
07-11 5101
4、线性分类 上一课最我们介绍了图像分类的问题，任务是从一个固定的类别集合中选一个分配给待识别的图像。最后，我们描述了k-近邻（KNN）分类器，它通过将待标记的图像与训练集中已经标记好的图像进行比较来标记图像。KNN有许多缺点： 分类器必须记住所有的训练数据，并将其存储起来，以备将来与测试数据进行比较。这是空间低效的，因为数据集的大小可能是千兆字节。 分类测试图像是昂贵的，因为它需要与所有训...
深度学习学习笔记——线性分类器SVM和softmax分类器
phily123的博客
12-10 1161
参考链接： 上图可以很明显看出SVM和softmax(其实就是CE)损失函数的区别： 1、对于SVM,先求出Xi属于每一类的分数（每一类的分数由这一类的分类器输出，所以三维的输出是三个分类器），如果正确类的分数比某一其他类分数差值低于1，那么相对于1的缺值会被添加到总的损失函数上，如果正确类损失函数分数比其他类分数高于1，对总的损失函数贡献为零。 2、对于sotamax分类器，先将每一输出值通过softmax函数归一化后转化成0和1之间的概率值，因为log函数在（0，1）之间时值为负，所以需要在损失函
线性分类深入解析：SVM与Softmax对比
这篇笔记主要介绍了线性分类器的深入概念，特别是支持向量机（SVM）和Softmax分类器。线性分类器是一种广泛应用于图像识别、自然语言处理等领域的机器学习模型，它们通过线性评分函数对数据进行分类。 线性评分函数...
svm和softmax都是损失函数吗
05-23
SVM和Softmax都是分类算法中的一种，不是损失函数。但是在训练模型时，需要使用损失函数来衡量预测值与真实值之间的差距。在SVM中，常用的损失函数是Hinge Loss，而在Softmax中，常用的损失函数是交叉熵损失函数。...
Loss function（Cost Function）SVM softmax pytorch函数解析
鹿鹿的博客
05-29 1889
SVM and Softmax 当评分函数输出结果与真实结果之间差异越大，损失函数输出越大，反之越小。 SVM Loss function hinge loss （折叶损失） 假设有3个分类，并且得到了分值s=[13,-7,11]。其中第一个类别是正确类别，即yi=0。同时假设是10。 =0+8=8 L2-SVM（平方折叶损失SVM） 我们对于预测训练集数据分类标签的情况总有一些不满意的，...
CS231n笔记（2）线性分类器：SVM，Softmax函数
Geek_of_CSDN的博客
08-19 1215
补充： 权重WWW可以看作是每个种类的学习模板，决定输入的图片xxx里面哪些像素对输入被分到某个类别上有多少影响。所以权重的每一行对应一个分类模板，如果重新将权重某一行重新解开成图片大小，那么既可以看到这个模板的图片形式。 另一种线性分类器的解释： 学习像素在高维空间的一个线性决策边界，其中高维空间就对应图片能取到的像素密度值。 损失函数简单定义： 一个将WWW当作输入，看下里面的数值，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值