SVM 论文阅读笔记

最新推荐文章于 2022-07-10 01:01:37 发布
最新推荐文章于 2022-07-10 01:01:37 发布
阅读量9.8k 收藏 8
点赞数
分类专栏： 论文笔记 文章标签： 支持向量机 人工智能 统计学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luo3300612/article/details/89085247
版权

SVM 论文阅读笔记

原文：Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines

作者：John C.Platt

时间： 1998年

主要内容：

文章解决了什么问题？

SVM训练算法在大规模问题上收敛很慢，且十分复杂、难以实现，运算过程中需要维持一个 n 2 n^2 n2个元素的矩阵，当年(1998)，问题规模超过4000个样本时，就超过了当时的内存大小(128MB)。
曾经的训练算法之一的Chunking使得算法从维持 n 2 n^2 n2个元素的矩阵降低到维持一个非0拉格朗日乘子数平方的元素数，但仍然无法解决大规模问题(内存不足)。
1997年Osuna提出了一个训练方法，并证明了解二次规划问题可以化归为解决其子问题，只要每次向子问题中增加一个违反KKT条件的样本即可。另一方面，为了让训练方法适应到任意规模的二次规划问题，Osuna在每次加入一个不满足KKT条件的样本同时，剔除一个样本以维持矩阵的大小恒定。存在的问题是每次为了一个样本运行整个二次规划数值算法，效率十分底下，而且会出现很多数值精度问题。

用了什么方法？

序列最小优化算法(SMO)，包括两个部分

  • 一个解决两个拉格朗日乘子优化的分析方法
  • 一个选择优化乘子的启发式方法。

效果如何

  • 快，比chunking算法约快1阶
  • 占用内存小，可以解决更大规模的问题
  • 使用分析方法，不使用数值的二次规划方法
  • 形式简单，容易实现
  • 使用稀疏方法的加速效果显著

存在什么不足

需要更多的基准测试来使SMO成为一个标准的SVM训练方法。

细节

算法流程图如下所示
算法一，主步骤
在这里插入图片描述
算法二，选定第二个拉格朗日乘子的方法
在这里插入图片描述

其他

验证算法时需要注意的地方

  • 保证对比算法是一个合适的benchmark
  • 保证对比算法的代码实现与其公认的效率是符合的
  • 保证两个算法的精度相同
  • 保证两个算法解决的任务是合适的
  • 使用了两个公开数据集和两个人工数据集，其中第一个人工数据集线性可分，另一个是噪音。
  • 使用log-log图近似估计了算法的复杂度
  • 仅选择了一组在验证集上表现较好的超参数
luputo
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SVM学习笔记
u011284036的专栏
04-14 476
SVM个人理解核心SVM(Support Vector Machine)，二分类模型（可扩展为多分类模型, One-vs-rest or one-vs-one，也可做回归，参考SVR）。 其要点如下: Maximum geometric margin: 求空间中一超平面得到最大分类间隔 Hinge loss: 对支持向量施加的松弛进行惩罚 Kernel trick: 利用核函数非线性分类
SVM的学习笔记
Kite_crazy的专栏
11-11 781
SVM的学习笔记 一、基本参数。 1.   训练集合        {(x1,y1), (x2,y2), (x3,y3), (x4,y4), (x5,y5),…………. (xn,yn)}         输入值：       xi  = {xi1, xi2, xi3, xi4, xi5……. x1n}         输出值：       yi ∈ {1,-1} 2.   构建分类器:
首次提出SVM的英文论文，105页pdf
11-16
首次提出SVM； 英文版，印刷清除； 内容详细，适合初学者及深入学习使用
第九周学习笔记
Peter的脱发日记
10-05 416
第九周学习笔记 1.论文阅读 Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines 作者：John C.Platt 时间： 1998年 主要内容： 1.文章解决了什么问题？ SVM训练算法在大规模问题上收敛很慢，且十分复杂、难以实现，运算过程中需要维持一个n2n^2n2个元素的矩...
Deep Learning using Linear Support Vector Machines基于SVM的深度学习论文解析
weixin_51441536的博客
07-10 2461
本篇论文主要介绍的是支持向量机（SVM）在全连接卷积神经网络（CNN）里的应用。主要进行的优化就是把softmax算法更换为SVM算法。其中SVM使用的模型为2l-SVM。输入层（input layer)卷积层（convolution layer)池化层（pooling layer)分类输出层（全连接层+Softmax layer)前三个步骤为特征提取，最后一个步骤为分类。重要的是最后一个步骤在下面的详细解说。以下介绍只介绍大概过程，计算方法有多种。（文中没有讲具体计算过程）输入层（input layer)
svm经典论文
热门推荐
超越梦想的专栏
05-11 1万+
1. P. H. Chen, C. J. Lin, and B. Schölkopf, A tutorial on ν-support vector machines, Appl. Stoch. Models. Bus. Ind. 2005,   21, 111-136. 2. A. J. Smola and B. Schölkopf, A tutorial on support vector r
机器学习—初窥支持向量机（SVM）
小武的博客
08-26 1380
前言 SVM算法在在1995年正式发表，在针对中小型数据规模的分类任务上有着卓越的效果，同时有着完整的理论证明，在20世纪末的几年和21世纪初的10年完胜神经网络，吴恩达在其2003年的《Machien learning》公开课上用两节课的时间对其进行讲解，而神经网络讲解了20min左右。就是这个算法把神经网络按在地上摩擦了大概15年的时间，直到深度学习的兴起。但即便这样，现在SVM算法依旧被广...
SVM 简介【译】
Wisimer
04-27 655
原文：An introduction to Support Vector Machines (SVM) 如果你在处理文本分类问题，为了提炼数据，可能已经尝试过朴素贝叶斯（Naive Bayes）分类算法。如果你的数据集还算正常的话，并且想要一步到位表现更好的话，可以考虑使用 SVM。SVM 是一个在有限数据集上十分快速且靠谱的分类算法。 你可能已经有一点点深入地去学习 SVM 了，是不是遇...
svm.zip_SVM_SVM java_SVM java_java svm
09-19
最后，"参考文献"可能列出了SVM领域的经典论文或教程，这些文献可以帮助深入理解SVM的理论基础，比如Vapnik-Chervonenkis（VC）维、软间隔、核技巧等。通过阅读这些文献，可以了解SVM的最新研究成果和实际应用情况。...
目标检测论文学习笔记1
08-03
1. R-CNN：使用选择性搜索算法生成区域提案，然后对每个提案用预训练的CNN提取特征，再用SVM分类。但其计算效率低，训练和检测过程分离。 2. Fast R-CNN：改进了R-CNN，提出RoI池化层，将图像和区域提案一起输入网络...
SVM经典论文，如资源描述所示
04-05
1. P. H. Chen, C. J. Lin, and B. Schölkopf, A tutorial on ν-support vector machines, Appl. Stoch. Models. Bus. Ind. 2005, 21, 111-136. 2. A. J. Smola and B. Schölkopf, A tutorial on support vector regression, Stat. Comput. 2004, 14, 199-222. 5. K. R. Müller, S. Mika, G. Rätsch, K. Tsuda, and B. Schölkopf, An introduction to kernel-based learning algorithms, IEEE Trans. Neural Netw. 2001, 12, 181-201. 7. V. N. Vapnik, An overview of statistical learning theory, IEEE Trans. Neural Netw. 1999, 10, 988-999. 8. B. Schölkopf, S. Mika, C. J. C. Burges, P. Knirsch, K. R. Muller, G. Ratsch, and A. J. Smola, Input space versus feature space in kernel-based methods, IEEE Trans. Neural Netw. 1999, 10, 1000-1017. 9. C. J. C. Burges, A tutorial on Support Vector Machines for pattern recognition, Data Min. Knowl. Discov. 1998, 2, 121-167. 10. A. J. Smola and B. Schölkopf, On a kernel-based method for pattern recognition, regression, approximation, and operator inversion, Algorithmica 1998, 22, 211-231.
SVM各类相关论文及综述
04-09
SVM各类相关论文及综述 可以帮助初学者了解SVM 还包括了一个人脸检测的例子代码Vc++ 帮助理解SVM
目标检测论文集.rar
07-26
重新打印成无注释版本可能是为了方便读者不受干扰地阅读原文，同时提供空间进行个人笔记和理解。 3. **基础**：这个标签可能意味着压缩包中的论文覆盖了目标检测的基础理论和方法。这可能包括早期的基于特征的方法...
ABC_SVM.zip_ABC_ABC SVM_ABC-SVM_SVM分类_svm图像分类
07-15
4. 论文或笔记：介绍ABC-SVM算法原理和实现细节的文档。 5. 配置文件：保存模型参数和设置的文件。 通过深入研究这些文件，可以了解到如何将ABC算法与SVM结合，以及它们在图像分类任务上的具体应用和性能表现。这...
papers-notebook：论文阅读笔记（分布式，虚拟化，机器学习）Paper Notebook（分布式系统，虚拟化，机器学习），由@gaocegege创建
02-04
【分布式系统】 分布式系统是多个独立计算机通过网络连接并协同工作，共同对外提供服务或解决计算问题的一种架构。...通过阅读这些笔记，可以了解最新的研究进展，掌握核心概念，并提升自己在这些领域的专业技能。
深入浅出SVM（支持向量机）
lost-person的博客
02-10 5080
支持向量机是机器学习领域中经典的分类算法之一，最早由Corinna Cortes, Vladimir Vapnik于1995年提出。对原论文感兴趣的读者可下载此论文Support-Vector Network 简介 分类学习的最基本思想就是基于给定的训练集DDD，在样本空间中寻找一个划分超平面，将不同类别的样本分开。假如有一样本集D={(x1,y1),(x2,y2),…,(xm,ym)}D = ...
致敬真神——SVM
Darkness_hades的博客
06-02 1291
摘要        对于Support Vector Machine(SVM)你是否停留在调用相关算法包的层面？是否每次想要加深对SVM的理解时却被枯燥的公式劝退？本文将以SVM发展历史时间线为文章组织结构，让您理解SVM基本原理、发展的内在需求以及其公式背后的意义。 0 引言        SVM自1964年被Vapnik等人提出以来，至今已经成为了重要的基准(Base Line)分类器之一。SVM最开始是被作为线性分类器提出
支持向量机—SMO论文详解（序列最小最优化算法）
Augmented Reality & Computer Graphics
01-08 8156
SVM的学习算法可以归结为凸二次规划问题。这样的凸二次规划问题具有全局最优解，并且许多最优化算法可以用来求解，但是当训练样本容量很大时，这些算法往往变得非常低效，以致无法使用。
支持向量机-数学解释
deephub
04-23 4709
支持向量机如何在高维空间中分离数据点背后的数学概念 支持向量机是1992年由Bell实验室的vladimir Vapnik和他的同事首次提出的。然而，许多人并不知道支持向量机的基础知识早在20世纪60年代他在莫斯科大学的博士论文中就已经开发出来了。几十年来，SVM一直受到很多人的青睐，因为它使用更少的计算资源，同时允许数据科学家获得显著的准确性。更不用说它同时解决了分类和回归问题。 基本概念 支持向量机可以解决线性和非线性问题，很好地工作在许多实际业务问题。支持向量机的原理是直截了当的。学习模型绘制了一条线
使用SVM解决非线性分类问题python机器学习论文
最新发布
06-02
非线性分类问题可以使用支持向量机（SVM）进行解决。在Python中，可以使用scikit-learn库中的svm模块进行SVM的实现。 具体步骤如下： 1.导入所需库： ``` import numpy as np import matplotlib.pyplot as plt from sklearn import svm, datasets ``` 2.导入数据集： ``` iris = datasets.load_iris() X = iris.data[:, :2] # 只取前两个特征 y = iris.target ``` 3.构建模型： ``` C = 1.0 # SVM正则化参数 svc = svm.SVC(kernel='rbf', C=C, gamma=0.7) # rbf核函数 svc.fit(X, y) # 训练模型 ``` 4.可视化结果： ``` # 生成网格数据 x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1 y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1 xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02), np.arange(y_min, y_max, 0.02)) Z = svc.predict(np.c_[xx.ravel(), yy.ravel()]) # 绘制决策边界和数据点 Z = Z.reshape(xx.shape) plt.contourf(xx, yy, Z, cmap=plt.cm.Spectral, alpha=0.8) plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Spectral) plt.xlabel('Sepal length') plt.ylabel('Sepal width') plt.xlim(xx.min(), xx.max()) plt.ylim(yy.min(), yy.max()) plt.xticks(()) plt.yticks(()) plt.show() ``` 这样就可以得到一个非线性分类的SVM模型，并可视化决策边界和数据点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值