SVM vs Softmax

最新推荐文章于 2024-05-15 10:20:08 发布
最新推荐文章于 2024-05-15 10:20:08 发布
阅读量703 收藏 1
点赞数 1
文章标签： 机器学习 深度学习 python
原文链接：https://cs231n.github.io/linear-classify/
版权

前两天看到

《CNN Features off-the-shelf: an Astounding Baseline for Recognition》

里面用了

 

 这种网络在各种任务下证明了cnn提取到的特征是更有效的，我就想到最后分类层用的svm和softmax到底哪个更好一些（基础问题了，但我不懂）

于是找到了这

CS231n Convolutional Neural Networks for Visual Recognition

 具体来说 hinge loss，也就是svm会把正负样本的预估值拉开一定的差距后就不再优化了，loss=0

但是softmax永远不会满足，loss虽然越来越小，但会始终存在的。

课程里也提到对loss加入正则项的动机：分类器的作用是把正确和错误的差距拉大，比如现在是0.1，那么w简单的扩大10倍，也能做到把差距从0.1变到1的效果。为了在同一个量级训练出不同性能的分类器，以避免这种模棱两可的情况发生，就加入了正则化

Blue_Whale2020
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python搭建SVM
weixin_38267719的博客
07-23 7801
目录 1.线性分类器 2.损失函数 Loss function 多类支持向量机损失(Multiclass Support Vector Machine Loss) 损失函数(Softmax分类器)：  3.正则化（Regularization） 4.总结如下：    5.部分代码及其解释 6.全部代码    从SVM开始才算真正步入机器学习了，之前的KNN只能算是公式应用，毕竟没...
Softmax和SVM、卷积神经网络的区别
I_am_a_buger的博客
09-27 2591
目前解决图像分类问题，比较流行的方法是卷积神经网络\color{red}{卷积神经网络}卷积神经网络上。这种方法主要有两部分组成：一个是评分函数（scorefunction）\color{red}{评分函数（score function）}评分函数（scorefunction），它是原始图像数据到类别分值的映射。另一个是损失函数（lossfunction）\color{red}{损失函数（loss...
SVM相关知识及和softmax区别
weixin_33845477的博客
10-09 231
1.相对于容易过度拟合训练样本的人工神经网络，支持向量机对于未见过的测试样本具有更好的推广能力。 2.SVM更偏好解释数据的简单模型---二维空间中的直线，三维空间中的平面和更高维空间中的超平面。 3.SVM正是从线性可分情况下的最优分类面发展而来，主要思想就是寻找能够成功分开两类样本并且有最大分类间隔的最优分类超平面。算法最终转化为二次型寻优问题，得到的是全局最优，解决了在神经网络方法中无法...
svm_softmax_sgd.py
10-12
svm_softmax_sgd.py
CNN+SVM模型实现图形多分类任务（SVM替换softmax分类器）
haosen
05-03 1万+
目录 摘要 模型构建 读取数据集： CNN模型构建： 模型结构： 训练模型： 结果对比分析： 结束： 摘要 为解决采用 softmax 作为卷积神经网络分类器导致图形分类识别模型泛化能力的不足，不能较好适用图像分类等问题，本次博客使用SVM代替CNN网络的softmax分类层，即CNN提取特征后利用SVM进行分类。为了验证模型更改后的效果，本次在随机构建的垃圾分类数据集上做了一...
【cs231n】损失函数SVM、softmax及梯度下降优化
gdxdekx的博客
07-06 789
如何确定W，如何利用训练数据得到好的W。损失函数：定义一个函数，输入W，然后定量计算W的好坏。给定一个样本(xi,yi)(x_i,y_i)(xi​,yi​)，其中xix_ixi​是图片，yiy_iyi​是图片真实对应的标签，就是第几类，i代表是训练集第i个样本。用支持向量机表示为：Li=∑j≠yimax(0,sj−syi+1)L_i = \sum_{j\neq y_i}max(0,s_j-s_{y_i}+1)Li​=j​=yi​∑​max(0,sj​−syi​​+1)，S为这张图片通过分类器计算出来的各个
【深度学习与计算机视觉】2、线性 SVM 与 Softmax 分类器
呆呆的猫的博客
08-03 2814
2、线性SVM与Softmax分类器 2.1 得分函数（score function） 2.1.1 线性分类器 2.1.2 理解线性分类器 2.2 损失函数 2.2.1 多类别支持向量机损失（Multiclass SVM loss） 2.2.2 正则化 2.3 实际中的考虑点 2.3.1 设定Delta 2.3.2 关于二元（Binary）支持向量机 2.3.3 关于非线性SVM ...
4、线性分类: SVM, Softmax
青星大学
07-11 4973
4、线性分类 上一课最我们介绍了图像分类的问题，任务是从一个固定的类别集合中选一个分配给待识别的图像。最后，我们描述了k-近邻（KNN）分类器，它通过将待标记的图像与训练集中已经标记好的图像进行比较来标记图像。KNN有许多缺点： 分类器必须记住所有的训练数据，并将其存储起来，以备将来与测试数据进行比较。这是空间低效的，因为数据集的大小可能是千兆字节。 分类测试图像是昂贵的，因为它需要与所有训...
损失函数调整，正则化，Softmax ， SVM交叉熵，极大似然估计
ZJQ的博客
05-19 908
本文主要通过介绍两种最常见的分类器SVM与Softmax完成了对于神经网络中损失函数的讲解，从中我们发现损失函数的定义方式是，对训练数据进行良好的预测就等于损失很小。支持向量机和Softmax的性能差异通常很小，不同的人对哪种分类器工作得更好会有不同的看法。Softmax分类器从不完全满意它生成的分数:正确的类总是有更高的概率，而错误的类总是有更低的概率，损失总是更好。然而，一旦边界得到满足，SVM就会很高兴，而且它不会对超出这个限制的准确分数进行微观管理。
新建压缩(zipped)文件夹_softmax_svmknn_zipped_SVM_
10-03
svm
深度学习之图像分类—-多分类支持向量机（Multi-SVM）与softmax分类
01-06
本文学习自该大V 概述: 由于KNN算法的局限性,我们需要实现更强大的方法来实现图像分类，一般情况下该方法包含两个函数，一是评分函数(score function)，它是原始图像到每个分类的分值映射，二是损失函数(loss ...
基于规则提取特征并和 SVM 和随机森林在 SemEval-2015-Task-31i数据集上进行分类.完整代码+报告
01-12
而在随机森林时，两个任务均使用 multi:softmax 作为目标函数，最大树深为 5，学习率 eta 为0.2，训练轮数为 50 轮。 评价时，task-A 和官网上评价脚本相同，只考虑 3 类。task-A 和 task-B 的评价指标均为 macro-
基于CNN和SVM的报文入侵检测方法
05-06
在数据集选择上, 采用网络入侵检测常用的权威数据集—京都大学蜜罐系统数据集, 通过与GRU-Softmax、GRU-SVM等现有检测率较高的模型进行实验对比, 该模型在准确率上最高分别提高了19.39% 和12.83%, 进一步提升了网络...
【深度学习技术】Softmax和SVM的区别与比较
谢军的博客
04-24 1万+
本博客记录Softmax 和SVM分类器的学习过程，欢迎学习交流。目前解决图像分类问题，比较流行的方法是卷积神经网络上。这种方法主要有两部分组成：一个是评分函数（score function），它是原始图像数据到类别分值的映射。另一个是损失函数（loss function），它是用来量化预测分类标签的得分与真实标签之间一致性的。该方法可转化为一个最优化问题，在最优化过程中，将通过更新评分函数的参数来
深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器
热门推荐
寒小阳
11-23 6万+
这个部分我们介绍一类新的分类器方法，而对其的改进和启发也能帮助我们自然而然地过渡到深度学习中的卷积神经网。有两个重要的概念： 得分函数/score function：将原始数据映射到每个类的打分的函数 损失函数/loss function：用于量化模型预测结果和实际结果之间吻合度的函数 在我们得到损失函数之后，我们就将问题转化成为一个最优化的问题，目标是得到让我们的损失函数取值最小的一组参数。
机器学习：SVM、softmax、Dropout及最大池化max_pool介绍
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！
02-10 1818
W: (3072, 10), 重新reshape到(32, 32, 3, 10)最后的10代表10个分类器，前面的就是每个分类器可视化的结果，它像是每个类别的所有图像的一个模板（取了平均值，因为只有数值相近的时候平方才最大），如果某个类别的分数较高，那么它就越接近这个类图片的模板。Dropout可以有效地抑制过拟合，一般来说神经元失活的概率越大在训练集上和在验证集上的区别就越小，但是较大的失活概率会导致神经网络的容量下降，更难拟合数据。在前向传播的过程中注意保存中间数据，为了反向传播的时候方便计算。
深度学习与计算机视觉教程(3) | 损失函数与最优化（CV通关指南·完结）
weixin_42907150的博客
02-06 926
损失函数，包括数据损失与正则损失多类 SVM 损失与Softmax损失比较梯度计算方法（数值梯度与解析梯度）梯度下降优化算法ShowMeAI。
python中yield总结
stone15165的博客
12-28 347
总结： 1.通常的for…in…循环中，in后面是一个数组，这个数组就是一个可迭代对象，类似的还有链表，字符串，文件。它可以是mylist = [1, 2, 3]，也可以是mylist = [x*x for x in range(3)]。 它的缺陷是所有数据都在内存中，如果有海量数据的话将会非常耗内存。 2.生成器是可以迭代的，但只可以读取它一次。因为用的时候才生成。比如 mygenerator ...
Python 机器学习 基础 之 监督学习 [决策树集成] 算法 的简单说明
最新发布
仙魁XAN
05-15 988
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
Softmax损失函数和SVM损失函数
06-03
Softmax损失函数和SVM损失函数都是常用于多分类问题的损失函数，它们的目标都是最小化分类误差。但是它们的形式和计算方式有所不同： Softmax损失函数： $$L=-\frac{1}{N}\sum_i\sum_{j}y_{ij}\log(\frac{e^{f_j}}{\sum_k e^{f_k}})$$ 其中$N$是样本数，$y_{ij}$是第$i$个样本的第$j$个标签，$f_j$是输入特征向量$x$在第$j$个类别上的得分。Softmax损失函数的计算方式是将输入的得分向量$f$经过softmax函数进行归一化，然后将归一化后的概率与真实标签进行比较，计算损失值。Softmax损失函数可以看作是对交叉熵损失函数的一种特例。 SVM损失函数： $$L=\frac{1}{N}\sum_i\sum_{j\neq y_i}\max(0,f_j-f_{y_i}+\Delta)$$ 其中$N$是样本数，$y_i$是第$i$个样本的真实标签，$f_j$是输入特征向量$x$在第$j$个类别上的得分，$\Delta$是一个正则化参数。SVM损失函数的计算方式是将输入的得分向量$f$与真实标签的得分进行比较，如果某个类别的得分高于真实标签的得分加上$\Delta$，则损失为0，否则损失为$f_j-f_{y_i}+\Delta$。SVM损失函数可以看作是对最大间隔分类器的一种实现。 两种损失函数都可以用于多分类任务，但是Softmax损失函数更常用于神经网络，SVM损失函数则更常用于线性分类器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值