SVM 论文阅读笔记

最新推荐文章于 2023-06-16 17:08:55 发布
最新推荐文章于 2023-06-16 17:08:55 发布
阅读量9.8k 收藏 8
点赞数
分类专栏： 论文笔记 文章标签： 支持向量机 人工智能 统计学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luo3300612/article/details/89085247
版权

SVM 论文阅读笔记

原文：Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines

作者：John C.Platt

时间： 1998年

主要内容：

文章解决了什么问题？

SVM训练算法在大规模问题上收敛很慢，且十分复杂、难以实现，运算过程中需要维持一个 n 2 n^2 n2个元素的矩阵，当年(1998)，问题规模超过4000个样本时，就超过了当时的内存大小(128MB)。
曾经的训练算法之一的Chunking使得算法从维持 n 2 n^2 n2个元素的矩阵降低到维持一个非0拉格朗日乘子数平方的元素数，但仍然无法解决大规模问题(内存不足)。
1997年Osuna提出了一个训练方法，并证明了解二次规划问题可以化归为解决其子问题，只要每次向子问题中增加一个违反KKT条件的样本即可。另一方面，为了让训练方法适应到任意规模的二次规划问题，Osuna在每次加入一个不满足KKT条件的样本同时，剔除一个样本以维持矩阵的大小恒定。存在的问题是每次为了一个样本运行整个二次规划数值算法，效率十分底下，而且会出现很多数值精度问题。

用了什么方法？

序列最小优化算法(SMO)，包括两个部分

  • 一个解决两个拉格朗日乘子优化的分析方法
  • 一个选择优化乘子的启发式方法。

效果如何

  • 快，比chunking算法约快1阶
  • 占用内存小，可以解决更大规模的问题
  • 使用分析方法，不使用数值的二次规划方法
  • 形式简单，容易实现
  • 使用稀疏方法的加速效果显著

存在什么不足

需要更多的基准测试来使SMO成为一个标准的SVM训练方法。

细节

算法流程图如下所示
算法一，主步骤
在这里插入图片描述
算法二，选定第二个拉格朗日乘子的方法
在这里插入图片描述

其他

验证算法时需要注意的地方

  • 保证对比算法是一个合适的benchmark
  • 保证对比算法的代码实现与其公认的效率是符合的
  • 保证两个算法的精度相同
  • 保证两个算法解决的任务是合适的
  • 使用了两个公开数据集和两个人工数据集，其中第一个人工数据集线性可分，另一个是噪音。
  • 使用log-log图近似估计了算法的复杂度
  • 仅选择了一组在验证集上表现较好的超参数
luputo
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
致敬真神——SVM
Darkness_hades的博客
06-02 1274
摘要        对于Support Vector Machine(SVM)你是否停留在调用相关算法包的层面？是否每次想要加深对SVM的理解时却被枯燥的公式劝退？本文将以SVM发展历史时间线为文章组织结构，让您理解SVM基本原理、发展的内在需求以及其公式背后的意义。 0 引言        SVM自1964年被Vapnik等人提出以来，至今已经成为了重要的基准(Base Line)分类器之一。SVM最开始是被作为线性分类器提出
SVM经典论文，如资源描述所示
04-05
1. P. H. Chen, C. J. Lin, and B. Schölkopf, A tutorial on ν-support vector machines, Appl. Stoch. Models. Bus. Ind. 2005, 21, 111-136. 2. A. J. Smola and B. Schölkopf, A tutorial on support vector regression, Stat. Comput. 2004, 14, 199-222. 5. K. R. Müller, S. Mika, G. Rätsch, K. Tsuda, and B. Schölkopf, An introduction to kernel-based learning algorithms, IEEE Trans. Neural Netw. 2001, 12, 181-201. 7. V. N. Vapnik, An overview of statistical learning theory, IEEE Trans. Neural Netw. 1999, 10, 988-999. 8. B. Schölkopf, S. Mika, C. J. C. Burges, P. Knirsch, K. R. Muller, G. Ratsch, and A. J. Smola, Input space versus feature space in kernel-based methods, IEEE Trans. Neural Netw. 1999, 10, 1000-1017. 9. C. J. C. Burges, A tutorial on Support Vector Machines for pattern recognition, Data Min. Knowl. Discov. 1998, 2, 121-167. 10. A. J. Smola and B. Schölkopf, On a kernel-based method for pattern recognition, regression, approximation, and operator inversion, Algorithmica 1998, 22, 211-231.
首次提出SVM的英文论文，105页pdf
11-16
首次提出SVM； 英文版，印刷清除； 内容详细，适合初学者及深入学习使用
Deep Learning using Linear Support Vector Machines基于SVM的深度学习论文解析
weixin_51441536的博客
07-10 2446
本篇论文主要介绍的是支持向量机（SVM）在全连接卷积神经网络（CNN）里的应用。主要进行的优化就是把softmax算法更换为SVM算法。其中SVM使用的模型为2l-SVM。输入层（input layer)卷积层（convolution layer)池化层（pooling layer)分类输出层（全连接层+Softmax layer)前三个步骤为特征提取，最后一个步骤为分类。重要的是最后一个步骤在下面的详细解说。以下介绍只介绍大概过程，计算方法有多种。（文中没有讲具体计算过程）输入层（input layer)
机器学习—初窥支持向量机（SVM）
小武的博客
08-26 1371
前言 SVM算法在在1995年正式发表，在针对中小型数据规模的分类任务上有着卓越的效果，同时有着完整的理论证明，在20世纪末的几年和21世纪初的10年完胜神经网络，吴恩达在其2003年的《Machien learning》公开课上用两节课的时间对其进行讲解，而神经网络讲解了20min左右。就是这个算法把神经网络按在地上摩擦了大概15年的时间，直到深度学习的兴起。但即便这样，现在SVM算法依旧被广...
【机器学习】十大算法之一 “SVM”
Code_and516的博客
06-16 3946
支持向量机（Support Vector Machine，SVM）是机器学习十大算法之一，是一种二分类模型。SVM将实例空间映射到一个高维空间，将空间进行线性划分，同时使得分类面到两端最近的数据点的距离（margin）最大化，因此SVM也被称为最大间隔分类器（Maximal Margin Classifier）。SVM是由Vapnik和Cortes于1995年提出的，是一种广泛应用的机器学习算法，具有很好的泛化能力和鲁棒性。SVM是一种非常有用的算法，它在分类和回归问题中都表现出色。
svm.zip_SVM_SVM java_SVM java_java svm
09-19
最后，"参考文献"可能列出了SVM领域的经典论文或教程，这些文献可以帮助深入理解SVM的理论基础，比如Vapnik-Chervonenkis（VC）维、软间隔、核技巧等。通过阅读这些文献，可以了解SVM的最新研究成果和实际应用情况。...
目标检测论文集.rar
07-26
重新打印成无注释版本可能是为了方便读者不受干扰地阅读原文，同时提供空间进行个人笔记和理解。 3. **基础**：这个标签可能意味着压缩包中的论文覆盖了目标检测的基础理论和方法。这可能包括早期的基于特征的方法...
ABC_SVM.zip_ABC_ABC SVM_ABC-SVM_SVM分类_svm图像分类
07-15
4. 论文或笔记：介绍ABC-SVM算法原理和实现细节的文档。 5. 配置文件：保存模型参数和设置的文件。 通过深入研究这些文件，可以了解到如何将ABC算法与SVM结合，以及它们在图像分类任务上的具体应用和性能表现。这...
papers-notebook：论文阅读笔记（分布式，虚拟化，机器学习）Paper Notebook（分布式系统，虚拟化，机器学习），由@gaocegege创建
02-04
【分布式系统】 分布式系统是多个独立计算机通过网络连接并协同工作，共同对外提供服务或解决计算问题的一种架构。...通过阅读这些笔记，可以了解最新的研究进展，掌握核心概念，并提升自己在这些领域的专业技能。
SVM图像分类论文1
03-13
SVM图像分类论文1：超像素词包模型与SVM分类的图像标注、多特征筛选与支持向量机相融合的图像分类模型等
论文研究-基于PSO算法的 -SVM算法参数优化 .pdf
08-16
基于PSO算法的 -SVM算法参数优化，王洁，白静，在v-SVM算法参数选择中，现多采用反复试验的方法，局限性较大且操作复杂。因此，本文采用了粒子群算法来优化v-SVM中的参数，并将之��
支持向量机 比较完整的原理推导（论文）
05-17
支持向量机 比较完整的原理推导（论文）
关于Java的书籍阅读、关于NLP的论文阅读和相关算法、想法的各种md文档.zip
最新发布
10-04
压缩包中的md文档可能包含了关于NLP的最新论文摘要、阅读笔记或者是对经典算法的解析，比如词性标注（Part-of-Speech tagging）、命名实体识别（Named Entity Recognition）、句法分析（Parsin）、语义角色标注...
ML之SVM：SVM算法的简介、应用、经典案例之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-06 1万+
支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类（binary classification）的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面SVM的基本思想是：找到集合边缘上的若干数据（称为支持向量（Support Vector）），用这些点找出一个平面（称为决策面），使得支持向量到该平面的距离最大。
SVM理论
heavendai的专栏
11-15 1万+
SVM入门（一）至（三）Refresh 按:之前的文章重新汇编一下,修改了一些错误和不当的说法，一起复习,然后继续SVM之旅. （一）SVM的简介 支持向量机(Support Vector  Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方
SVM推荐阅读文献及博客
huruzun的专栏
12-10 7219
SVM推荐阅读文献及博客，强力推荐！！！
Modified Logistic Regression: An Approximation to SVM and Its Applications in Large-Scale Text Categ
breeze21的博客
01-09 545
Jian Zhang jian.zhang@cs.cmu.edu Rong Jin rong@cs.cmu.edu Yiming Yang yiming@cs.cmu.edu Alex G. Hauptmann alex@cs.cmu.edu School of Computer Science, Carnegie Mellon University, 5000 Forbes Avenue, Pittsburgh, PA 15213 USA Abstract
使用SVM解决非线性分类问题python机器学习论文
06-02
非线性分类问题可以使用支持向量机（SVM）进行解决。在Python中，可以使用scikit-learn库中的svm模块进行SVM的实现。 具体步骤如下： 1.导入所需库： ``` import numpy as np import matplotlib.pyplot as plt from sklearn import svm, datasets ``` 2.导入数据集： ``` iris = datasets.load_iris() X = iris.data[:, :2] # 只取前两个特征 y = iris.target ``` 3.构建模型： ``` C = 1.0 # SVM正则化参数 svc = svm.SVC(kernel='rbf', C=C, gamma=0.7) # rbf核函数 svc.fit(X, y) # 训练模型 ``` 4.可视化结果： ``` # 生成网格数据 x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1 y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1 xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02), np.arange(y_min, y_max, 0.02)) Z = svc.predict(np.c_[xx.ravel(), yy.ravel()]) # 绘制决策边界和数据点 Z = Z.reshape(xx.shape) plt.contourf(xx, yy, Z, cmap=plt.cm.Spectral, alpha=0.8) plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Spectral) plt.xlabel('Sepal length') plt.ylabel('Sepal width') plt.xlim(xx.min(), xx.max()) plt.ylim(yy.min(), yy.max()) plt.xticks(()) plt.yticks(()) plt.show() ``` 这样就可以得到一个非线性分类的SVM模型，并可视化决策边界和数据点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值